Spojení umělé inteligence a podmořské fotografie odhaluje skryté oceánské světy

V severovýchodních Spojených státech představuje Maine Gulf jeden z nejrozmanitějších mořských ekosystémů na planetě – domov velryb, žraloků, medúz, sledě, planktonu a stovek dalších druhů. Ale i když tento ekosystém podporuje bohatou biodiverzitu, prochází rychlou environmentální změnou. Maine Gulf se otepluje rychleji než 99 procent světových oceánů, s důsledky, které se stále odvíjejí.

Nová výzkumná iniciativa vyvíjená na MIT Sea Grant, nazvaná LOBSTgER – zkratka pro Learning Oceanic Bioecological Systems Through Generative Representations – spojuje umělou inteligenci a podvodní fotografii k dokumentování mořského života, který je těmito změnami ohrožen, a k sdílení těchto informací s veřejností novými vizuálními způsoby. Projekt, vedený podvodním fotografem a hostujícím umělcem na MIT Sea Grant Keith Ellenbogenem a doktorandem MIT v oboru strojírenství Andreasem Mentzelopoulosem, zkoumá, jak generativní AI může rozšířit vědecké vyprávění na základě fotografických dat z terénního výzkumu.

Stejně jako kamera 19. století proměnila naši schopnost dokumentovat a odhalovat přírodní svět – zachycovat život s nebývalými detaily a přinášet vzdálená nebo skrytá prostředí do pohledu – generativní AI představuje novou hranici ve vizuálním vyprávění. Stejně jako raná fotografie otevírá AI kreativní a koncepční prostor a zpochybňuje, jak definujeme autenticitu a jak komunikujeme vědecké a umělecké perspektivy.

V projektu LOBSTgER jsou generativní modely trénovány výhradně na kurátované knihovně originálních podvodních fotografií Ellenbogena – každý snímek je vytvořen s uměleckým záměrem, technickou přesností, přesnou identifikací druhů a jasným geografickým kontextem. Vytvořením vysoce kvalitní datové sady založené na pozorováních v reálném světě projekt zajišťuje, že výsledná obraznost si zachovává jak vizuální integritu, tak ekologickou relevanci. Kromě toho jsou modely LOBSTgER vytvářeny pomocí vlastního kódu vyvinutého Mentzelopoulosem, aby se ochránil proces a výstupy před jakýmikoli potenciálními zkresleními z externích dat nebo modelů. Generativní AI LOBSTgER staví na reálné fotografii a rozšiřuje vizuální slovník výzkumníků, aby prohloubila spojení veřejnosti s přírodním světem.

LOBSTgER pracuje na křižovatce umění, vědy a technologie. Projekt čerpá z vizuálního jazyka fotografie, observační důslednosti mořské vědy a výpočetního výkonu generativní AI. Spojením těchto disciplín tým nejen vyvíjí nové způsoby vizualizace mořského života – ale také si znovu představuje, jak lze vyprávět environmentální příběhy. Tento integrační přístup dělá z LOBSTgER jak výzkumný nástroj, tak kreativní experiment – takový, který odráží dlouhodobou tradici interdisciplinární inovace MIT.

Podvodní fotografování v pobřežních vodách Nové Anglie je notoricky obtížné. Omezená viditelnost, vířící sedimenty, bubliny a nepředvídatelný pohyb mořského života představují neustálé výzvy. Ellenbogen v posledních několika letech tyto výzvy překonával a prostřednictvím projektu Space to Sea: Visualizing New England’s Ocean Wilderness buduje komplexní záznam biodiverzity regionu. Tato rozsáhlá datová sada podvodních snímků tvoří základ pro trénování generativních AI modelů LOBSTgER. Snímky zahrnují rozmanité úhly, světelné podmínky a chování zvířat, což vede k vizuálnímu archivu, který je jak umělecky poutavý, tak biologicky přesný.

Vlastní difúzní modely LOBSTgER jsou trénovány tak, aby replikovaly nejen biodiverzitu, kterou Ellenbogen dokumentuje, ale také umělecký styl, kterým ji zachycuje. Učením se z tisíců reálných podvodních snímků si modely internalizují jemnozrnné detaily, jako jsou přirozené světelné gradienty, druhově specifická zbarvení a dokonce i atmosférická textura vytvořená vznášejícími se částicemi a lomem slunečního světla. Výsledkem je obraznost, která nejenže vypadá vizuálně přesně, ale také působí sugestivně a dojemně.

Modely mohou generovat nové, syntetické, ale vědecky přesné obrázky bezpodmínečně (tj. nevyžadují vstup/návod uživatele) a podmíněně vylepšovat reálné fotografie (tj. generování obrázek z obrázků). Integrací AI do fotografického pracovního postupu bude Ellenbogen schopen používat tyto nástroje k obnovení detailů v zakalené vodě, upravovat osvětlení tak, aby se zdůraznily klíčové objekty, nebo dokonce simulovat scény, které by bylo téměř nemožné zachytit v terénu. Tým také věří, že tento přístup může prospět dalším podvodním fotografům a editorům obrázků, kteří čelí podobným výzvám. Tato hybridní metoda je navržena tak, aby urychlila proces kurátorství a umožnila vypravěčům vytvářet komplexnější a soudržnější vizuální vyprávění o životě pod hladinou.

V jedné klíčové sérii Ellenbogen zachytil vysoce rozlišené snímky lví hřívy medúzy, modrých žraloků, amerických humrů a mořských sluníček (Mola mola) při potápění v pobřežních vodách. „Získat vysoce kvalitní datovou sadu není snadné,“ říká Ellenbogen. „Vyžaduje to více ponorů, zmeškané příležitosti a nepředvídatelné podmínky. Ale tyto výzvy jsou součástí toho, co dělá podvodní dokumentaci obtížnou i obohacující.“

Mentzelopoulos vyvinul originální kód pro trénování rodiny latentních difúzních modelů pro LOBSTgER založených na Ellenbogenových snímcích. Vývoj takových modelů vyžaduje vysokou úroveň technické expertízy a trénování modelů od nuly je komplexní proces, který vyžaduje stovky hodin výpočtů a pečlivé ladění hyperparametrů.

Projekt odráží paralelní proces: terénní dokumentaci prostřednictvím fotografie a vývoj modelu prostřednictvím iterativního trénování. Ellenbogen pracuje v terénu a zachycuje vzácné a pomíjivé setkání s mořskými zvířaty; Mentzelopoulos pracuje v laboratoři a tyto momenty převádí do kontextů strojového učení, které mohou rozšířit a reinterpretovat vizuální jazyk oceánu.

„Cílem není nahradit fotografii,“ říká Mentzelopoulos. „Je to o tom, abychom na ni navázali a doplnili ji – abychom učinili neviditelné viditelným a pomohli lidem vidět environmentální složitost způsobem, který rezonuje jak emocionálně, tak intelektuálně. Naše modely si kladou za cíl zachytit nejen biologický realismus, ale i emocionální náboj, který může pohánět angažovanost a jednání v reálném světě.“

LOBSTgER ukazuje na hybridní budoucnost, která spojuje přímé pozorování s technologickou interpretací. Dlouhodobým cílem týmu je vyvinout komplexní model, který dokáže vizualizovat širokou škálu druhů nalezených v Maine Gulf a nakonec aplikovat podobné metody na mořské ekosystémy po celém světě.

Výzkumníci naznačují, že fotografie a generativní AI tvoří kontinuum, nikoli konflikt. Fotografie zachycuje to, co je – texturu, světlo a chování zvířat během skutečných setkání – zatímco AI rozšiřuje tento výhled za to, co je vidět, směrem k tomu, co by se dalo pochopit, odvodit nebo si představit na základě vědeckých dat a umělecké vize. Společně nabízejí silný rámec pro komunikaci vědy prostřednictvím tvorby obrazů.

V regionu, kde se ekosystémy rychle mění, se akt vizualizace stává něčím více než jen dokumentací. Stává se nástrojem povědomí, angažovanosti a nakonec i ochrany. LOBSTgER je stále v plenkách a tým se těší na sdílení dalších objevů, obrázků a poznatků, jak se projekt vyvíjí.

Poznámka k obrázku: Levý obrázek byl vygenerován pomocí bezpodmínečných modelů LOBSTgER a pravý obrázek je skutečný.

Další informace získáte kontaktováním Keith Ellenbogen a Andreas Mentzelopoulos.