Spojení designu a informatiky kreativními způsoby

Rychlost, s jakou se nové technologie dostávají na trh, je nic ve srovnání s rychlostí, s jakou talentovaní výzkumníci nacházejí kreativní způsoby jejich využití, výcviku a dokonce i proměny v nezbytné součásti našeho života. Jedním z takových výzkumníků je Alexander Htet Kyaw, držitel stipendia MIT MAD a postgraduální student, který studuje dva magisterské programy – architektonické studie výpočtů a elektrotechniku a informatiku.

Kyaw bere technologie jako umělá inteligence, rozšířená realita a robotika a kombinuje je s rozpoznáváním gest, řeči a objektů, aby vytvořil pracovní postupy člověk-AI, které mají potenciál interagovat s naším postaveným prostředím, změnit způsob, jak nakupujeme, navrhujeme komplexní struktury a vyrábíme fyzické věci.

Jednou z jeho nejnovějších inovací je Curator AI, za kterou on a jeho kolegové z MIT získali první cenu – 26 000 dolarů v produktech a hotovosti od OpenAI – na konferenci MIT AI Build: Generativní hlasové řešení AI, týdenním hackathonu na MIT s finálovými prezentacemi konanými minulý podzim v New Yorku. S Kyawem spolupracovali Richa Gupta (architektura) a Bradley Bunch, Nidhish Sagar a Michael Won – všichni z oddělení elektrotechniky a informatiky (EECS) MIT.

Curator AI je navržen tak, aby zefektivnil online nákup nábytku poskytováním kontextových doporučení produktů pomocí AI a AR. Platforma používá AR k zaměření prostorových rozměrů místnosti s umístěním oken, dveří a stávajícího nábytku. Uživatelé pak mohou mluvit se softwarem, aby popsali, jaký nový nábytek chtějí, a systém použije vizuálně-jazykový AI model k vyhledání a zobrazení různých možností, které odpovídají jak výzvám uživatelů, tak vizuálním charakteristikám místnosti.

„Nakupující si mohou vybrat z navrhovaných možností, vizualizovat produkty v AR a používat přirozený jazyk k požádání o úpravy vyhledávání, čímž se proces výběru nábytku stává intuitivnějším, efektivnějším a personalizovanějším,“ říká Kyaw. „Problém, který se snažíme vyřešit, je, že většina lidí neví, kde začít, když zařizují místnost, a tak jsme vyvinuli Curator AI, aby poskytoval inteligentní, kontextová doporučení na základě toho, jak vaše místnost vypadá.“ Přestože byl Curator AI vyvinut pro nákup nábytku, mohl by být rozšířen pro použití na jiných trzích.

Dalším příkladem Kyawovy práce je Estimate, produkt, který on a tři další postgraduální studenti vytvořili během hackathonu konference MIT Sloan Product Tech v březnu 2024. Zaměření této soutěže bylo na pomoc malým podnikům; Kyaw a tým se rozhodli zaměřit na malířskou firmu v Cambridge, která zaměstnává 10 lidí. Estimate používá AR a technologii rozpoznávání objektů AI k přesnému měření místnosti a generování podrobného odhadu nákladů na renovaci a/nebo malování. Také využívá generativní AI k zobrazení obrázků místnosti nebo místností, jak by mohly vypadat po malování nebo renovaci, a generuje fakturu po dokončení projektu.

Tým vyhrál tento hackathon a 5 000 dolarů v hotovosti. Kyawovými spoluhráči byli Guillaume Allegre, May Khine a Anna Mathy, kteří všichni v roce 2024 absolvovali MIT s magisterskými tituly v oblasti obchodní analytiky.

V dubnu Kyaw vystoupí s přednáškou TedX na své alma mater, Cornellově univerzitě, ve které popíše Curator AI, Estimate a další projekty, které používají AI, AR a robotiku k návrhu a stavbě věcí.

Jedním z těchto projektů je Unlog, pro který Kyaw spojil AR s rozpoznáváním gest, aby vytvořil software, který přijímá vstup z dotyku konečků prstů na povrchu materiálu, nebo dokonce ve vzduchu, k mapování rozměrů stavebních součástí. Tak vznikl Unlog – impozantní umělecká socha z popelových klád, která stojí na kampusu Cornellovy univerzity.

Unlog představuje možnost, že struktury lze stavět přímo z celého kmene, místo aby kmen cestoval do pilařského závodu, kde se promění v prkna, a pak se přepravoval k velkoobchodníkovi nebo maloobchodníkovi. Je to dobrá ukázka Kyawovy touhy používat stavební materiály udržitelnějším způsobem. Článek o této práci, „Rozpoznávání gest pro zpětnou vazbu v mixované realitě a robotické výrobě: Případová studie věže UnLog,“ byl publikován Kyawem, Leslie Lok, Lawsonem Spencerem a Sasou Zivkovicem ve sborníku 5. mezinárodní konference o výpočetním designu a robotické výrobě, leden 2024.

Další systém, který Kyaw vyvinul, integruje simulaci fyziky, rozpoznávání gest a AR pro návrh aktivně se ohýbajících struktur postavených z bambusových tyčí. Rozpoznávání gest umožňuje uživatelům manipulovat s digitálními bambusovými moduly v AR a simulace fyziky je integrována tak, aby vizualizovala, jak se bambus ohýbá a kde upevnit bambusové tyče tak, aby vytvořily stabilní strukturu. Tato práce se objevila ve sborníku 41. vzdělávání a výzkum v počítačem podporovaném architektonickém designu v Evropě, srpen 2023, jako „Aktivní ohýbání ve fyzikálně založené mixované realitě: Návrh a výroba přestavitelného modulárního bambusového systému.”

Kyaw loni představil podobnou myšlenku s využitím bambusových modulů k vytvoření rozkládacích struktur programu MITdesignX, programu MIT MAD, který vybírá slibné startupy a poskytuje jim koučování a financování k jejich uvedení na trh. Kyaw od té doby založil BendShelters na výstavbu prefabrikovaných, modulárních bambusových přístřešků a komunitních prostor pro uprchlíky a vysídlené osoby v Myanmaru, jeho rodné zemi.

„Tam, kde jsem vyrůstal, v Myanmaru, jsem viděl mnoho každodenních dopadů klimatických změn a extrémní chudoby,“ říká Kyaw. „V zemi je obrovská uprchlická krize a já chci přemýšlet o tom, jak mohu přispět zpět své komunitě.“

Jeho práce s BendShelters byla oceněna MIT Sandbox, PKG Social Innovation Challenge a Amazon Robotics' Prize for Social Good.

Na MIT spolupracuje s profesorem Neilem Gershenfeldem, ředitelem Centra pro bity a atomy, a doktorandkou Mianou Smithovou na použití rozpoznávání řeči, 3D generativní AI a robotických ramen k vytvoření pracovního postupu, který dokáže vytvářet objekty přístupným, na vyžádání a udržitelným způsobem. Kyaw má bakalářské tituly v oboru architektury a informatiky z Cornellu. Loni získal stipendium SJA od archivu Stevea Jobse, které poskytuje financování projektům na křižovatce technologie a umění.

„Baví mě zkoumat různé druhy technologií pro návrh a výrobu věcí,“ říká Kyaw. „Být součástí MAD mě přimělo přemýšlet o tom, jak se veškerá moje práce propojuje, a pomohlo mi objasnit mé záměry. Moje vize výzkumu je navrhovat a vyvíjet systémy a produkty, které umožňují přirozené interakce mezi lidmi, stroji a světem kolem nás.“