Umělá inteligence pomáhá strojům rozumět vizuálnímu obsahu

Data by měla řídit každé rozhodnutí moderního podnikání. Většina firem však má obrovský slepý bod: Neví, co se děje v jejich vizuálních datech.

Společnost Coactive, kterou založili absolventi MIT Cody Coleman a William Gaviria Rojas, se snaží tuto situaci změnit. Vytvořila platformu poháněnou umělou inteligencí, která dokáže zpracovávat data jako obrázky, audio a video a odhalovat tak nové poznatky.

Platforma Coactive umožňuje okamžité vyhledávání, organizaci a analýzu nestrukturovaného vizuálního obsahu, čímž pomáhá firmám dělat rychlejší a lepší rozhodnutí.

„V první velké revoluci velkých dat se firmy naučily lépe využívat strukturovaná data,“ říká Coleman a odkazuje na data z tabulek a tabulkových kalkulátorů. „Nyní je však přibližně 80 až 90 procent dat na světě nestrukturovaných. V další kapitole velkých dat budou muset firmy zpracovávat data jako obrázky, videa a audio ve velkém měřítku a AI je klíčovým prvkem k odemčení této schopnosti.“

Coactive již spolupracuje s několika velkými mediálními a maloobchodními společnostmi, aby jim pomohla porozumět jejich vizuálnímu obsahu bez nutnosti manuálního třídění a označování. To jim pomáhá doručovat správný obsah uživatelům rychleji, odstraňovat explicitní obsah z jejich platforem a odhalovat, jak specifický obsah ovlivňuje chování uživatelů.

Zakladatelé věří, že Coactive slouží jako příklad toho, jak AI může lidem umožnit efektivnější práci a řešení nových problémů.

„Slovo ‚koaktivní‘ znamená spolupracovat současně a to je naše velká vize: pomáhat lidem a strojům pracovat společně,“ říká Coleman. „Věříme, že tato vize je dnes důležitější než kdykoli předtím, protože AI nás může buď rozdělit, nebo spojit. Chceme, aby Coactive byl agentem, který nás spojí a poskytne lidem nové nadlidské schopnosti.“

Dávání počítačům zrak

Coleman se setkal s Gaviria Rojasem v létě před svým prvním rokem prostřednictvím programu MIT Interphase Edge. Oba studovali elektrotechniku a informatiku a pracovali na zpřístupnění obsahu MIT OpenCourseWare mexickým univerzitám, mimo jiné projekty.

„To byl skvělý příklad podnikání,“ vzpomíná Coleman na projekt OpenCourseWare. „Bylo velmi povzbuzující být zodpovědný za podnikání a vývoj softwaru. To mě vedlo k tomu, abych si po dokončení studia založil vlastní malé webové firmy a absolvoval kurz ‚Cesta zakladatele‘ na MIT.“

Coleman poprvé prozkoumal sílu AI na MIT, když pracoval jako výzkumný pracovník v kanceláři pro digitální vzdělávání (nyní MIT Open Learning), kde používal strojové učení ke studiu toho, jak se lidé učí na MITx, která hostí masivní otevřené online kurzy vytvořené fakultou a instruktory MIT.

„Bylo pro mě úžasné, že můžete demokratizovat tuto transformační cestu, kterou jsem prošel na MIT s digitálním vzděláváním – a že můžete použít AI a strojové učení k vytvoření adaptivních systémů, které nám nejen pomohou porozumět tomu, jak se lidé učí, ale také poskytnout personalizovanější zážitky z učení lidem po celém světě,“ říká Coleman o MITx. „To byl také prvníkrát, kdy jsem mohl zkoumat video obsah a aplikovat na něj AI.“

Po MIT šel Coleman na Stanfordskou univerzitu na doktorát, kde pracoval na snižování bariér při používání AI. Výzkum ho přivedl ke spolupráci se společnostmi jako Pinterest a Meta na aplikacích AI a strojového učení.

„Tam jsem byl schopen nahlédnout do budoucnosti toho, co chtěli lidé dělat s AI a jejich obsahem,“ vzpomíná Coleman. „Viděl jsem, jak přední společnosti používají AI k vytváření obchodní hodnoty, a to je místo, kde vznikla počáteční jiskra pro Coactive. Pomyslel jsem si: ‚Co kdybychom vytvořili podnikový operační systém pro obsah a multimodální AI, aby to bylo jednoduché?‘“

Mezitím se Gaviria Rojas přestěhoval do oblasti Bay Area v roce 2020 a začal pracovat jako datový vědec u eBay. V rámci stěhování potřeboval pomoc s přepravou pohovky a Coleman byl ten šťastný kamarád, kterého zavolal.

„Na cestě autem jsme si uvědomili, že oba vidíme explozi v oblasti dat a AI,“ říká Gaviria Rojas. „Na MIT jsme měli přední místo v revoluci velkých dat a viděli jsme, jak lidé vynalézají technologie, které odemknou hodnotu z těchto dat ve velkém měřítku. Cody a já jsme si uvědomili, že máme další sud s dynamitkem, který se chystá explodovat s podniky sbírajícími obrovské množství dat, ale tentokrát šlo o multimodální data, jako jsou obrázky, video, audio a text. Chyběla technologie, která by to odemkla ve velkém měřítku. To byla AI.“

Platforma, kterou zakladatelé vytvořili – Coleman ji popisuje jako „operační systém AI“ – je nezávislá na modelu, což znamená, že společnost může vyměňovat AI systémy pod kapotou, jak se modely neustále zlepšují. Platforma Coactive obsahuje předpřipravené aplikace, které mohou obchodní zákazníci používat k vyhledávání v obsahu, generování metadat a provádění analýz k extrakci poznatků.

„Před AI by počítače viděly svět skrze bajty, zatímco lidé by viděli svět skrze vnímání,“ říká Coleman. „Nyní, s AI, mohou stroje konečně vidět svět jako my, a to způsobí, že se digitální a fyzický svět rozmaží.“

Zlepšování rozhraní člověk-počítač

Databáze obrázků Reuters poskytuje světovým novinářům miliony fotografií. Před Coactive se společnost spoléhala na to, že reportéři ručně zadávají značky k každé fotografii, aby se správné obrázky zobrazily, když novináři hledali určitá témata.

„Bylo neuvěřitelně pomalé a drahé projít všemi těmito surovinami, takže lidé prostě nepřidávali značky,“ říká Coleman. „To znamenalo, že když jste něco hledali, výsledky byly omezené, i když relevantní fotografie byly v databázi.“

Nyní, když novináři na webových stránkách Reuters vyberou „Povolit vyhledávání AI“, Coactive může vyhledat relevantní obsah na základě pochopení detailů v každém obrázku a videu AI systémem.

„Výrazně to zlepšuje kvalitu výsledků pro reportéry, což jim umožňuje vyprávět lepší a přesnější příběhy než kdykoli předtím,“ říká Coleman.

Reuters není sám, kdo bojuje s managementem veškerého svého obsahu. Správa digitálních aktiv je obrovskou součástí mnoha mediálních a maloobchodních společností, které se dnes často spoléhají na ručně zadaná metadata pro třídění a vyhledávání v tomto obsahu.

Dalším zákazníkem Coactive je Fandom, jedna z největších světových platforem pro informace o televizních pořadech, videohrách a filmech s více než 300 miliony aktivních uživatelů měsíčně. Fandom používá Coactive k pochopení vizuálních dat ve svých online komunitách a k pomoci při odstraňování nadměrného násilí a sexualizovaného obsahu.

„Dříve trvalo Fandomu 24 až 48 hodin, než zkontroloval každý nový kus obsahu,“ říká Coleman. „Nyní, s Coactive, codifikovali své pokyny pro komunitu a mohou generovat podrobnější informace v průměru za přibližně 500 milisekund.“

U každého případu použití zakladatelé vidí Coactive jako umožňující nový paradigmat v tom, jak lidé pracují se stroji.

„V celé historii interakce člověk-počítač jsme se museli ohýbat nad klávesnicí a myší, abychom zadávali informace způsobem, kterému stroje rozuměly,“ říká Coleman. „Nyní, poprvé, můžeme prostě mluvit přirozeně, můžeme sdílet obrázky a videa s AI a ona tomuto obsahu porozumí. To je zásadní změna v tom, jak přemýšlíme o interakci člověk-počítač. Základní vize Coactive je, že kvůli této změně potřebujeme nový operační systém a nový způsob práce s obsahem a AI.“