Robot, který si cestu najde sám.

Krok 1 · Co je kolem mě

Dvě oči: jedno měří vzdálenost, druhé rozumí tomu, co vidí

Robot má dvě kamery natočené mírně od sebe, aby dohromady pokryly široký výsek před ním. Každá z nich posílá třicetkrát za sekundu dva obrazy: normální barevnou fotku a takzvanou hloubkovou mapu — obrázek, ve kterém každý pixel neříká barvu, ale vzdálenost.

To jsou dvě různé informace a obě jsou potřeba. Hloubka pozná tvar: že je něco vyvýšené, že tam je schod, sloup, noha lavičky. Ale nepozná rozdíl mezi asfaltem a posekaným trávníkem — ten je z pohledu geometrie stejně rovný jako cesta. To je práce pro barvu.

Rozpoznat cestu v obraze

Původní řešení bylo jednoduché: naučit se, jakou barvu má cesta, a podle toho každý pixel zařadit. Funguje to překvapivě dobře — a přesně tak dlouho, dokud na cestu nedopadne stín, nespadne listí nebo nezačne pršet.

Dnes tu práci dělá neuronová síť. Je to stejný druh programu, jaký ve fotkách v telefonu pozná obličeje: dostala k vidění tisíce ručně obarvených snímků cest a naučila se z nich rozhodovat ne podle jednoho pixelu, ale podle celého okolí — podle tvaru, textury a souvislostí. Výsledek není seznam pixelů, ale souvislá plocha: tudy se dá jet.

Kolik to vydělá, je změřené na sadě padesáti snímků, u kterých člověk ručně vyznačil, kde cesta doopravdy je:

Ten druhý sloupec je důležitější než první. Když robot cestu přehlédne, jede pomaleji a opatrněji. Když si ji vymyslí, sjede do trávy.

Krok 2 · Kde jsem

Žádný senzor neříká pravdu. Tak je robot poslouchá všechny najednou

Tohle je nejméně vidět a nejvíc na tom záleží. Kdyby si robot myslel, že je o metr vedle, je mu jeho pěkná mapa okolí k ničemu — naplánuje si krásnou cestu do trávy.

Problém je, že každý senzor lže jinak:

• GPS se plete zhruba o metr a půl a mezi měřeními poskakuje. Pod stromy a mezi domy hůř.
• Kompas ukazuje směr, ale ovlivňuje ho železo v samotném robotu. Naměřená chyba: 24 stupňů.
• Otáčky kol řeknou přesně, kolik se kola otočila — ne, kolik robot ujel. Na mokré trávě se prokluz sčítá a chyba roste s každým metrem.
• Gyroskop velmi přesně měří, jak rychle se robot otáčí. Ale ne, kam míří: drobná chyba se integruje a po pár minutách je kurz úplně mimo.

Řešení se jmenuje Kalmanův filtr a myšlenka za ním je jednoduchá: každý senzor musí kromě naměřené hodnoty říct i to, jak moc si je jistý. Filtr pak neposlouchá jeden, ani většinu — váží je. Přesný údaj má velkou váhu, nejistý malou. Výsledkem je jediný odhad polohy a natočení, ke kterému si robot navíc nese, jak moc mu věří.

Druhá polovina triku je, že filtr umí předpovídat. Ví, jaké dal motorům povely, takže si dopředu spočítá, kde by měl za desetinu sekundy být. Když pak přijde měření z GPS, neptá se „kde jsem?“, ale „jak moc se to liší od toho, co jsem čekal?“. Díky tomu přežije i chvíli, kdy GPS úplně vypadne — třeba pod mostem.

Robot, který si sám zkalibruje kompas

Kompas byl dlouho nejhorší článek. Měření ukázalo, že se plete o 24 stupňů, a co hůř, chyba se měnila podle toho, kterým směrem robot mířil — klasický projev železa a magnetického pole ve vlastní konstrukci. Filtr přitom kompasu věřil na desetinu stupně, protože senzor sám o sobě tvrdil, že je takhle přesný.

Kalibrace takového senzoru je jinak práce pro laboratoř. Tady ji dělá sám robot: spustí se mu mise magcal, obsluha ho vezme do rukou a pomalu s ním otáčí — a na stránce, kterou robot servíruje do telefonu, průběžně vidí, kterým směrem ho ještě musí natočit. Když má dost dat, robot si kalibraci spočítá a sám ji zapíše do paměti senzoru.

Výsledek změřený venku: chyba kurzu klesla z 24 ° na 3 ° a zkreslení od vlastního železa ze 27 ° na 3,6 °. Celé to trvá pár minut a jde to udělat v terénu, s telefonem v ruce, bez notebooku.

Krok 3 · Kudy dál

Plánuje se na dvou úrovních: mapa města a nejbližších šest metrů

Kdyby robot plánoval jenom podle mapy, vjel by do každého odstaveného kola. Kdyby plánoval jenom podle toho, co vidí, dojel by na první křižovatku a nevěděl by, kam zabočit. Takže dělá obojí zároveň — a každé jinak rychle.

Nahoře: trasa po mapě

Robot má v sobě mapu z OpenStreetMap — tu samou volně dostupnou mapu, ze které čerpá spousta navigací. Není to ale mapa pro auta: zajímají ho chodníky, pěšiny a parkové cesty. Z cíle si spočítá trasu po síti cest a z ní vytáhne jediné číslo, které zajímá spodní vrstvu: bod pár metrů před sebou, kterým se má trasa vydat. V projektu se mu říká „mrkev“ — robot za ní jde jako za mrkví na provázku.

Když se ukáže, že je cesta přehrazená, robot si tu hranu v mapě uzavře a trasa se přepočítá jinudy. Mapa tak není jen čtená, ale i opravovaná podle toho, co robot skutečně zažil.

Dole: mřížka kolem robota

Ta mapa okolí z kroku 1 je čtvercová síť buněk 5 × 5 cm, která robota obklopuje a jede s ním. V každé buňce není „ano/ne“, ale pravděpodobnost: čím víckrát tam kamera uvidí volno, tím je si robot jistější. Jeden šum v jednom snímku tak mapu nerozhodí, ale skutečná lavička, kterou vidí desetkrát po sobě, ano.

Nad touhle mřížkou běží hledání cesty (algoritmus A*, tentýž, který používají navigace i hry) — jenže nehledá jen nejkratší cestu, ale takovou, která si drží odstup od překážek. A na každý kousek dráhy se ještě spočítá, jak rychle se tudy smí: blíž u překážky pomaleji, do neprozkoumaného prostoru pomaleji, na volném prostranství naplno.

Krok 4 · Jak jet

Mezi plánem a koly

Naplánovaná dráha je čára na papíře. Poslední vrstva z ní dělá otáčky dvou kol — a je to jediné místo, kde chyba znamená ránu do obrubníku, ne špatné číslo v logu.

Robot si dráhu nerozdělí jen na „jeď tam“. Plán obsahuje i brzdnou obálku: pro každý bod dráhy nejvyšší rychlost, se kterou tam smí přijet, aby ještě stihl zastavit nebo projet zatáčku. Při jízdě k tomu přidá předstih — nemíří na bod, na kterém stojí, ale na bod kousek před sebou, přesně jako člověk, který se při řízení nedívá na kapotu.

Tři nezávislé způsoby, jak robota zastavit

• Nouzové tlačítko na robotu. Je zapojené v hardwaru a software ho nemůže obejít. Nic dál v tomhle seznamu není jeho náhrada.
• Držené zastavení. Kterákoli část programu si může robota „podržet“ — a robot stojí, dokud ho drží kdokoli. Nebrzdí se přitom naplno, ale rampou, aby se náklad nepřevrátil.
• Zastavení z telefonu. Červené tlačítko na stránce, kterou robot servíruje.

To „držené zastavení“ zní jako drobnost, ale je za ním zajímavá vlastnost: robot umí sám sebe zastavit, opravit se a jet dál. Když zamrzl obraz z jedné kamery, dohlížecí část programu si robota podržela, zbourala a znovu postavila spojení s kamerami a hold pustila. Od poruchy k plné funkci to trvalo 29 sekund. Předtím ta samá porucha znamenala mrtvou kameru na 22 minut, než si toho někdo všiml a restartoval program.

K čemu to celé je

Tři mise nad stejným základem

Všechno předchozí je motor. Mise je to, co mu řekne, kam. Jsou tři a liší se jen tím, odkud berou cíl — zbytek programu se pro ně nemění.

Obsluha

Celý robot se ovládá z mobilu, přes prohlížeč

Na robotovi neběží žádná aplikace s okny — je to služba, která nastartuje sama s počítačem. Místo obrazovky servíruje obyčejnou webovou stránku: půdorys s trasou, živý snímek z kamery, stav senzorů, rychlost, poloha, zatížení procesoru. Stačí se připojit na stejnou síť a otevřít ji v telefonu. Nic se neinstaluje.

Jedna věc je na té stránce schválně nepohodlná. Misi jde vybrat jen ve chvíli, kdy je stisknuté nouzové zastavení — a robot se rozjede teprve tehdy, když ho člověk uvolní. Stránka tedy misi jen připraví; rozjet ji musí ruka u robota. Robot, který se rozjede sám od sebe, protože si někdo na druhém konci města ťukl do telefonu, je horší než robot, který stojí.

Jak se to dá vůbec vyvíjet

Robot, který jezdí uvnitř počítače

Kdyby se každá změna musela zkoušet venku na trávě, byl by vývoj nekonečný. Proto má robot druhé tělo: úplně stejný program, ale místo kamer, GPS a motorů má simulaci.

Není to hra ani animace. Virtuální kamera bere mapu z OpenStreetMap a renderuje z ní to, co by robot ze své polohy skutečně viděl — barevný obraz i hloubku. Virtuální kola se otáčejí podle stejných povelů, které by dostal motorový regulátor. Řídicí program o tom vůbec neví: dostává data ze stejných rozhraní jako na železe.

Tím se ale otevře něco, co venku nikdy nejde: v simulaci se ví, kde robot doopravdy je. Můžete tedy změřit, o kolik se jeho vlastní odhad plete — a to je jediný způsob, jak zjistit, jestli byla změna ve fúzi zlepšení, nebo zhoršení. Navíc se dají poruchy zadat: prokluz kol, vychýlený kompas, chyba polohy o zvolený kus. Jde dokonce nechat kamery kreslit podle jiné mapy, než podle které robot jede — takže chyba je prokazatelně v datech, ne v pozorovateli.

A všechno se nahrává

Každá jízda se zapisuje: všechny zprávy ze všech senzorů, všechna rozhodnutí, s časovými razítky. Když se venku stane něco divného, nemusí se to zkoušet znovu — záznam se u stolu přehraje a je vidět přesně to, co v tu chvíli viděl robot. Na rozbor záznamů existuje zvláštní nástroj, který umí odpovědět na otázky typu „jak často a proč robot zpomalil“ nebo „o kolik se kompas pletl proti GPS“.

Nad tím vším hlídá přes 1 600 automatických testů, které proběhnou při každé změně. Většina z nich nekontroluje, jestli program spadne — ale jestli pořád vrací tatáž čísla jako dřív.

Pod kapotou

Co v tom vlastně běží

Upřímně

Kde to dnes je

Jádro běží. Robot venku jezdí, vidí, lokalizuje se, kreslí si mapu okolí, drží se cesty a servíruje svou stránku do telefonu; služba startuje sama, přežije SIGTERM i výpadek kamery. Kompas je zkalibrovaný a ověřený třemi nezávislými měřeními.

Část toho, co je na téhle stránce popsaná, je ale zatím ověřená hlavně v simulaci a měřením nad záznamy — celý průchod soutěžní misí na skutečném robotu teprve čeká. Je to průběžně vedený projekt, ne hotový produkt; ke každému tvrzení výš existuje v repozitáři měření nebo test, a tam, kde měření chybí, je to napsané.