Učíme AI modely, co nevědí

Systémy umělé inteligence, jako je ChatGPT, poskytují věrohodné odpovědi na jakoukoli otázku. Ne vždy ale odhalí mezery ve svých znalostech nebo oblasti, kde si nejsou jisté. Tento problém může mít obrovské důsledky, jelikož se AI systémy stále více používají k věcem, jako je vývoj léků, syntéza informací a řízení autonomních vozidel.

Spin-off MIT, Themis AI, pomáhá kvantifikovat nejistotu modelů a opravovat výstupy dříve, než způsobí větší problémy. Platforma společnosti Capsa dokáže pracovat s jakýmkoli modelem strojového učení, aby v sekundách detekovala a opravovala nespolehlivé výstupy. Funguje tak, že modifikuje AI modely, aby dokázaly detekovat vzory ve zpracování dat, které naznačují nejednoznačnost, neúplnost nebo zkreslení.

„Myšlenka je vzít model, zabalit ho do Capsy, identifikovat nejistoty a režimy selhání modelu a poté model vylepšit,“ říká spoluzakladatelka Themis AI a profesorka MIT Daniela Rus, která je také ředitelkou laboratoře pro informatiku a umělou inteligenci MIT (CSAIL). „Jsme nadšeni, že nabízíme řešení, které může zlepšit modely a nabídnout záruky, že model funguje správně.“

Rusová založila Themis AI v roce 2021 s Alexandrem Aminim, Elaheh Ahmadi a dalšími bývalými výzkumnými pracovníky z její laboratoře. Od té doby pomohli telekomunikačním společnostem s plánováním a automatizací sítí, pomohli ropným a plynárenským společnostem využívat AI k pochopení seismických snímků a publikovali články o vývoji spolehlivějších a důvěryhodnějších chatbotů.

„Chceme umožnit AI v nejnáročnějších aplikacích každého odvětví,“ říká Amini. „Všichni jsme viděli příklady AI halucinace nebo dělání chyb. Jak se AI nasazuje stále šířeji, tyto chyby by mohly vést k devastujícím následkům. Themis umožňuje, aby jakákoli AI dokázala předvídat a předpovídat svá vlastní selhání, dříve než k nim dojde.“

Laboratoř Rusové zkoumá nejistotu modelu již několik let. V roce 2018 obdržela finanční prostředky od Toyoty na studium spolehlivosti řešení autonomního řízení založeného na strojovém učení.

„To je kontext kritický z hlediska bezpečnosti, kde je pochopení spolehlivosti modelu velmi důležité,“ říká Rusová.

V samostatné práci Rusová, Amini a jejich spolupracovníci vytvořili algoritmus, který dokázal detekovat rasové a genderové zkreslení v systémech rozpoznávání obličejů a automaticky přehodnotit výcviková data modelu, čímž se prokázalo, že eliminuje zkreslení. Algoritmus fungoval tak, že identifikoval nereprezentativní části podkladových výcvikových dat a generoval nové, podobné datové vzorky, aby je znovu vyvážil.

V roce 2021 ukázali budoucí spoluzakladatelé, že podobný přístup lze použít k tomu, aby farmaceutickým společnostem pomohli využívat AI modely k předpovídání vlastností kandidátů na léky. Themis AI založili později v tom roce.

„Řízení objevování léků by potenciálně mohlo ušetřit mnoho peněz,“ říká Rusová. „To byl případ použití, který nám dal najevo, jak mocný tento nástroj může být.“

Dnes Themis AI spolupracuje s podniky v různých odvětvích a mnoho z těchto společností vytváří velké jazykové modely. Pomocí Capsy jsou tyto modely schopny kvantifikovat svou vlastní nejistotu pro každý výstup.

„Mnoho společností se zajímá o používání velkých jazykových modelů založených na jejich datech, ale obávají se spolehlivosti,“ poznamenává Stewart Jamieson, vedoucí technologie Themis AI. „Pomáháme velkým jazykovým modelům hlásit jejich jistotu a nejistotu, což umožňuje spolehlivější zodpovídání otázek a označování nespolehlivých výstupů.“

Themis AI je také v diskusích s polovodičovými společnostmi, které budují AI řešení na svých čipech, které mohou pracovat mimo cloudové prostředí.

„Obvykle tyto menší modely, které pracují na telefonech nebo v embedded systémech, nejsou příliš přesné ve srovnání s tím, co byste mohli spustit na serveru, ale my můžeme získat to nejlepší z obou světů: nízkou latenci, efektivní výpočty na okraji bez obětování kvality,“ vysvětluje Jamieson. „Vidíme budoucnost, kde většinu práce vykonávají okrajová zařízení, ale kdykoli si nejsou jisti svým výstupem, mohou tyto úlohy předat centrálnímu serveru.“

Farmaceutické společnosti mohou také používat Capsu ke zlepšení AI modelů používaných k identifikaci kandidátů na léky a předpovídání jejich výkonu v klinických studiích.

„Predikce a výstupy těchto modelů jsou velmi komplexní a těžko interpretovatelné – experti tráví mnoho času a úsilí snahou o jejich pochopení,“ poznamenává Amini. „Capsa může poskytnout přehledy hned od začátku, aby pochopila, zda jsou predikce podloženy důkazy ve výcvikové sadě, nebo jsou jen spekulacemi bez velkého základu. To může urychlit identifikaci nejsilnějších predikcí a myslíme si, že to má obrovský potenciál pro společenské dobro.“

Výzkum pro dopad

Tým Themis AI věří, že společnost je dobře připravena zlepšit špičku neustále se vyvíjející technologie AI. Společnost například zkoumá schopnost Capsy zlepšit přesnost v technice AI známé jako uvažování v řetězci myšlenek, ve kterém velké jazykové modely vysvětlují kroky, které podniknou, aby se dostaly k odpovědi.

„Viděli jsme známky toho, že Capsa by mohla pomoci řídit tyto uvažovací procesy k identifikaci řetězců uvažování s nejvyšší jistotou,“ říká Jamieson. „Myslíme si, že to má obrovské důsledky, pokud jde o zlepšení uživatelské zkušenosti s velkými jazykovými modely, snižování latencí a snižování výpočetních požadavků. Je to pro nás extrémně vysoce nárazová příležitost.“

Pro Rusovou, která od svého příchodu na MIT spoluzaložila několik společností, je Themis AI příležitostí zajistit, aby její výzkum na MIT měl dopad.

„Moji studenti a já jsme se čím dál více nadchli pro to, abychom udělali ten extra krok, aby naše práce byla relevantní pro svět,“ říká Rusová. „AI má obrovský potenciál transformovat průmysl, ale AI také vyvolává obavy. Co mě nadchází, je příležitost pomoci vyvíjet technická řešení, která řeší tyto výzvy, a také budovat důvěru a porozumění mezi lidmi a technologiemi, které se stávají součástí jejich každodenního života.“