Rozšiřování robotického vnímání

Roboti urazili od dob Roomby dlouhou cestu. Dnes drony začínají doručovat zboží až k dveřím, autonomní vozy navigují po některých silnicích, roboti-psi pomáhají záchranářům a další roboti provádějí salta vzad a pomáhají v továrních halách. Přesto si Luca Carlone myslí, že to nejlepší teprve přijde.

Carlone, který nedávno získal profesuru na MIT v oddělení letectví a astronautiky (AeroAstro), vede laboratoř SPARK, kde on a jeho studenti překonávají klíčovou propast mezi lidmi a roboty: vnímání. Skupina provádí teoretický a experimentální výzkum, vše s cílem rozšířit povědomí robota o jeho prostředí způsoby, které se blíží lidskému vnímání. A vnímání, jak Carlone často říká, je víc než detekce.

Zatímco roboti se v obrovské míře zlepšili v detekci a identifikaci objektů v jejich okolí, stále se mají hodně co učit, pokud jde o vytváření smysluplnějšího pohledu na jejich prostředí. My, lidé, vnímáme objekty s intuitivním citem nejen jejich tvarů a štítků, ale také jejich fyziky – jak by se daly manipulovat a přesouvat – a jak se vztahují k sobě navzájem, k širšímu okolí a k nám samým.

Právě tohoto typu lidského vnímání se Carlone a jeho skupina snaží dosáhnout u robotů, a to tak, aby mohli bezpečně a plynule interagovat s lidmi v jejich domovech, na pracovištích a v jiných nestrukturovaných prostředích.

Od nástupu na MIT v roce 2017 vedl Carlone svůj tým při vývoji a aplikaci algoritmů pro vnímání a pochopení scény pro různé aplikace, včetně autonomních podzemních záchranných vozidel, dronů, které mohou během letu zvedat a manipulovat s objekty, a autonomních vozidel. Mohly by být také užitečné pro domácí roboty, které sledují příkazy v přirozeném jazyce a potenciálně dokonce předvídají potřeby člověka na základě kontextových indicií na vyšší úrovni.

„Vnímání je velkým úzkým hrdlem na cestě k tomu, aby nám roboti pomohli v reálném světě,“ říká Carlone. „Pokud dokážeme do robotického vnímání přidat prvky kognitivních funkcí a uvažování, věřím, že mohou udělat mnoho dobrého.“

Rozšiřování obzorů

Carlone se narodil a vyrůstal poblíž Salerna v Itálii, nedaleko malebného amalfitánského pobřeží, kde byl nejmladším ze tří chlapců. Jeho matka je v důchodu, učila matematiku na základní škole, a jeho otec je v důchodu historik a vydavatel, který vždy přistupoval k historickému výzkumu analyticky. Bratři si možná nevědomě osvojili smýšlení svých rodičů, protože všichni tři se stali inženýry – dva starší se věnovali elektronice a strojírenství, zatímco Carlone se zaměřil na robotiku, neboli mechatroniku, jak se tehdy nazývala.

K oboru se však nedostal až do pozdního období vysokoškolského studia. Carlone navštěvoval Polytechnickou univerzitu v Turíně, kde se zpočátku zaměřoval na teoretickou práci, konkrétně na teorii řízení – obor, který aplikuje matematiku na vývoj algoritmů, které automaticky řídí chování fyzikálních systémů, jako jsou energetické sítě, letadla, auta a roboti. Pak, v posledním ročníku, se Carlone přihlásil na kurz robotiky, který zkoumal pokroky v manipulaci a jak lze roboty programovat k pohybu a fungování.

„Byla to láska na první pohled. Používat algoritmy a matematiku k vývoji mozku robota a k tomu, aby se pohyboval a interakce s prostředím, je jedním z nejvíce uspokojujících zážitků,“ říká Carlone. „Okamžitě jsem se rozhodl, že tohle chci dělat v životě.“

Pokračoval v duálním studijním programu na Polytechnické univerzitě v Turíně a Polytechnické univerzitě v Miláně, kde získal magisterské tituly v mechatronice a automatizačním inženýrství. V rámci tohoto programu, zvaného Alta Scuola Politecnica, Carlone také absolvoval kurzy managementu, ve kterých se on a studenti z různých akademických oborů museli spojit, aby koncipovali, postavili a připravili marketingové sdělení pro nový design produktu. Carloneův tým vyvinul bezdotykovou stolní lampu navrženou tak, aby sledovala příkazy ovládané rukou uživatele. Projekt ho přiměl přemýšlet o inženýrství z různých úhlů pohledu.

„Bylo to jako muset mluvit různými jazyky,“ říká. „Byla to raná zkušenost s potřebou dívat se za hranice inženýrské bubliny a přemýšlet o tom, jak vytvořit technickou práci, která může ovlivnit skutečný svět.“

Další generace

Carlone zůstal v Turíně, aby dokončil doktorát v mechatronice. Během této doby mu byla dána svoboda vybrat si téma disertační práce, o které si, jak vzpomíná, „trochu naivně“ myslel.

„Prozkoumával jsem téma, o kterém se komunita domnívala, že je dobře pochopeno, a pro které si mnoho výzkumníků myslelo, že už není co říci,“ říká Carlone. „Podcenil jsem, jak zavedené dané téma bylo, a myslel jsem si, že k němu stále mohu přispět něčím novým, a měl jsem štěstí, že se mi to podařilo.“

Téma znělo „simultánní lokalizace a mapování“, neboli SLAM – problém generování a aktualizace mapy prostředí robota při současném sledování polohy robota v tomto prostředí. Carlone přišel na způsob, jak problém přeformulovat, takže algoritmy mohly generovat přesnější mapy bez nutnosti začít s počátečním odhadem, jak to většina metod SLAM v té době dělala. Jeho práce pomohla otevřít pole, kde si většina robotiků myslela, že nelze dosáhnout lepších výsledků než s existujícími algoritmy.

„SLAM je o zjištění geometrie věcí a o tom, jak se robot pohybuje mezi těmito věcmi,“ říká Carlone. „Teď jsem součástí komunity, která se ptá: co je další generace SLAM?“

Ve snaze najít odpověď přijal postdoktorandskou pozici na Georgia Tech, kde se ponořil do kódování a počítačového vidění – obor, který ho v retrospektivě mohl inspirovat k náhlému problému se zrakem: když dokončoval doktorát v Itálii, utrpěl zdravotní komplikace, které mu vážně poškodily zrak.

„Jeden rok jsem mohl snadno přijít o oko,“ říká Carlone. „To mě přimělo přemýšlet o významu zraku a umělého zraku.“

Dostal se k dobré lékařské péči a stav se mu zcela vyřešil, takže mohl ve své práci pokračovat. Na Georgia Tech mu jeho školitel, Frank Dellaert, ukázal způsoby, jak kódovat v počítačovém vidění a formulovat elegantní matematické reprezentace složitých trojrozměrných problémů. Jeho školitel byl také jedním z prvních, kdo vyvinul knihovnu SLAM s otevřeným zdrojovým kódem, nazvanou GTSAM, kterou Carlone rychle poznal jako neocenitelný zdroj. Obecněji řečeno, viděl, že zpřístupnění softwaru všem odemklo obrovský potenciál pro pokrok v robotice jako celku.

„Historicky byl pokrok v SLAMu velmi pomalý, protože lidé si své kódy nechali patentované a každá skupina musela v podstatě začít od nuly,“ říká Carlone. „Pak se začaly objevovat kanály s otevřeným zdrojovým kódem a to byl převrat, který do značné míry řídil pokrok, kterého jsme za posledních 10 let dosáhli.“

Prostorová AI

Po Georgia Tech přišel Carlone na MIT v roce 2015 jako postdoktorand v Laboratoři pro informační a rozhodovací systémy (LIDS). Během této doby spolupracoval s Sertacem Karamanem, profesorem letectví a astronautiky, na vývoji softwaru, který pomůže palm-sized dronům navigovat v jejich okolí s velmi malou spotřebou energie na palubě. O rok později byl povýšen na vědeckého pracovníka a v roce 2017 Carlone přijal profesorské místo v AeroAstro.

„Jedna věc, do které jsem se na MIT zamiloval, bylo, že všechna rozhodnutí jsou řízena otázkami, jako jsou: Jaké jsou naše hodnoty? Jaké je naše poslání? Nikdy se nejedná o nízkoúrovňové zisky. Motivace je skutečně o tom, jak zlepšit společnost,“ říká Carlone. „Jako přístup to bylo velmi osvěžující.“

Dnes Carloneova skupina vyvíjí způsoby, jak reprezentovat okolí robota, a to nad rámec charakterizace jejich geometrického tvaru a sémantiky. Používá hluboké učení a velké jazykové modely k vývoji algoritmů, které robotům umožňují vnímat jejich prostředí skrz objektiv na vyšší úrovni. Za posledních šest let jeho laboratoř vydala více než 60 repozitářů s otevřeným zdrojovým kódem repositories, které využívají tisíce výzkumníků a praktiků po celém světě. Většina jeho práce zapadá do širšího, vznikajícího oboru známého jako „prostorová AI“.

„Prostorová AI je jako SLAM na steroidech,“ říká Carlone. „Stručně řečeno, jde o to, aby roboti dokázali myslet a chápat svět tak, jak to dělají lidé, způsoby, které mohou být užitečné.“

Je to obrovský úkol, který by mohl mít dalekosáhlé dopady, pokud jde o umožnění intuitivnějších, interaktivnějších robotů, kteří by pomáhali doma, na pracovišti, na silnicích a v odlehlých a potenciálně nebezpečných oblastech. Carlone říká, že před námi bude ještě hodně práce, abychom se přiblížili k tomu, jak lidé vnímají svět.

„Mám dvouleté dvojčata a vidím je, jak manipulují s předměty, nosí najednou 10 různých hraček, snadno se pohybují po přeplněných místnostech a rychle se přizpůsobují novým prostředím. Robotové vnímání ještě nemůže konkurovat tomu, co dokáže batole,“ říká Carlone. „Ale máme v arzenálu nové nástroje. A budoucnost je jasná.“