Zvyšování důvěryhodnosti modelů AI v náročných situacích

Nejednoznačnost v lékařských snímcích představuje pro lékaře, kteří se snaží identifikovat onemocnění, značné výzvy. Například na rentgenovém snímku hrudníku může pleurální výpotek (abnormální nahromadění tekutiny v plicích) vypadat velmi podobně jako plicní infiltráty, což jsou nahromadění hnisu nebo krve.

Model umělé inteligence by mohl lékaře při analýze rentgenových snímků asistovat identifikací jemných detailů a zvýšením efektivity diagnostického procesu. Vzhledem k tomu, že na jednom snímku může být přítomno mnoho možných stavů, by lékař pravděpodobně chtěl zvážit soubor možností, než by měl k dispozici pouze jednu predikci AI.

Jedním z perspektivních způsobů, jak vygenerovat soubor možností, je konformní klasifikace, která je výhodná, protože ji lze snadno implementovat na existující model strojového učení. Může však produkovat neprakticky velké soubory.

Výzkumníci z MIT nyní vyvinuli jednoduché a efektivní vylepšení, které dokáže zmenšit velikost predikčních sad až o 30 procent a zároveň zvýšit spolehlivost predikcí.

Menší predikční sada může lékaři pomoci přesněji určit správnou diagnózu, což by mohlo zlepšit a zefektivnit léčbu pacientů. Tato metoda by mohla být užitečná v celé řadě klasifikačních úloh – například při identifikaci druhu zvířete na obrázku z zoologické zahrady – protože poskytuje menší, ale přesnější sadu možností.

„S menším počtem tříd, které je třeba zvážit, jsou predikční sady přirozeně informativnější v tom smyslu, že si vybíráte z menšího počtu možností. V jistém smyslu se vlastně nic nesnižuje z hlediska přesnosti pro něco, co je informativnější,“ říká Divya Shanmugam, PhD '24, postdoktorandka na Cornell Tech, která tento výzkum prováděla, když byla postgraduální studentkou na MIT.

Shanmugam se na článku podílí s Helen Lu '24; Swami Sankaranarayanan, bývalý postdoktorand MIT, který je nyní vědeckým pracovníkem v Lilia Biosciences; a hlavním autorem Johnem Guttagem, profesorem informatiky a elektrotechniky na MIT a členem MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). Výzkum bude prezentován na konferenci o počítačovém vidění a rozpoznávání obrazů v červnu.

Záruky predikce

Asistenti AI nasazení pro náročné úlohy, jako je klasifikace onemocnění na lékařských snímcích, jsou typicky navrženi tak, aby produkovali skóre pravděpodobnosti spolu s každou predikcí, aby uživatel mohl posoudit důvěru modelu. Například model může předpovědět, že existuje 20% šance, že snímek odpovídá určité diagnóze, jako je pleuritida.

Je však obtížné důvěřovat předpovězené důvěře modelu, protože mnoho předchozích výzkumů ukázalo, že tyto pravděpodobnosti mohou být nepřesné. S konformní klasifikací je predikce modelu nahrazena množinou nejpravděpodobnějších diagnóz spolu se zárukou, že správná diagnóza je někde v množině.

Ale inherentní nejistota v predikcích AI často způsobuje, že model vydává sady, které jsou příliš velké na to, aby byly užitečné.

Například, pokud model klasifikuje zvíře na obrázku jako jeden z 10 000 potenciálních druhů, může vyprodukovat sadu 200 predikcí, aby mohl nabídnout silnou záruku.

„To je poměrně mnoho tříd, které by někdo musel prozkoumat, aby zjistil, která třída je správná,“ říká Shanmugam.

Technika může být také nespolehlivá, protože malé změny vstupů, jako je mírné otočení obrazu, mohou vést k zcela odlišným sadám predikcí.

Aby se konformní klasifikace stala užitečnější, vědci použili techniku vyvinutou ke zlepšení přesnosti modelů počítačového vidění, která se nazývá augmentace v době testování (TTA).

TTA vytvoří více augmentací jednoho obrázku v datové sadě, například oříznutím obrázku, jeho překlopením, přiblížením atd. Poté použije model počítačového vidění na každou verzi stejného obrázku a agregát jeho predikcí.

„Tímto způsobem získáte více predikcí z jednoho příkladu. Agregace predikcí tímto způsobem zlepšuje predikce z hlediska přesnosti a robustnosti,“ vysvětluje Shanmugam.

Maximalizace přesnosti

Pro použití TTA výzkumníci oddělí některé označené obrazové údaje, které se používají pro konformní klasifikační proces. Naučí se agregovat augmentace na těchto oddělených datech a automaticky augmentovat obrázky způsobem, který maximalizuje přesnost predikcí základního modelu.

Poté spusťte konformní klasifikaci na nových, TTA-transformovaných predikcích modelu. Konformní klasifikátor vydá menší sadu pravděpodobných predikcí pro stejnou záruku pravděpodobnosti.

„Kombinace augmentace v době testování s konformní predikcí je snadno implementovatelná, efektivní v praxi a nevyžaduje přeškolení modelu,“ říká Shanmugam.

Ve srovnání s předchozí prací v konformní predikci napříč několika standardními měřítky klasifikace obrazu jejich metoda s TTA snížila velikost predikčních sad v experimentech o 10 až 30 procent.

Důležité je, že technika dosahuje tohoto snížení velikosti predikční sady při zachování pravděpodobnostní záruky.

Výzkumníci také zjistili, že i když obětují některé označené údaje, které by se normálně používaly pro konformní klasifikační postup, TTA zvýší přesnost natolik, aby převážila náklady na ztrátu těchto dat.

„Vyvolává to zajímavé otázky o tom, jak jsme použili označená data po trénování modelu. Alokace označených dat mezi různými kroky po trénování je důležitým směrem pro budoucí práci,“ říká Shanmugam.

V budoucnu chtějí výzkumníci ověřit efektivitu takového přístupu v kontextu modelů, které klasifikují text místo obrázků. Pro další zlepšení práce výzkumníci také zvažují způsoby, jak snížit množství výpočtů potřebných pro TTA.

Tento výzkum je částečně financován společností Wistrom Corporation.