Vědci snižují zkreslení v AI modelech a zároveň zlepšují přesnost

Modely strojového učení mohou selhávat, když se pokoušejí předpovídat pro jednotlivce, kteří byli nedostatečně zastoupeni v datových sadách, na kterých byly trénovány.

Například model, který předpovídá nejlepší možnost léčby pro někoho s chronickým onemocněním, může být trénován pomocí datové sady, která obsahuje převážně mužské pacienty. Tento model by mohl dělat nesprávné předpovědi pro pacientky, když je nasazen v nemocnici.

Pro zlepšení výsledků se inženýři mohou pokusit vyvážit trénovací datovou sadu odstraněním datových bodů, dokud nejsou všechny podskupiny zastoupeny rovnoměrně. Zatímco vyvažování datových sad je slibné, často vyžaduje odstranění velkého množství dat, což snižuje celkovou výkonnost modelu.

Výzkumníci z MIT vyvinuli novou techniku, která identifikuje a odstraňuje specifické body v trénovací datové sadě, které nejvíce přispívají k selhání modelu u menšinových podskupin. Odstraněním mnohem menšího počtu datových bodů než u jiných přístupů tato technika udržuje celkovou přesnost modelu a zároveň zlepšuje jeho výkonnost u nedostatečně zastoupených skupin.

Navíc tato technika dokáže identifikovat skryté zdroje zkreslení v trénovací datové sadě, která postrádá štítky. Neoznačená data jsou pro mnoho aplikací mnohem rozšířenější než označená data.

Tato metoda by mohla být také kombinována s jinými přístupy ke zlepšení spravedlnosti modelů strojového učení nasazených ve vysoce rizikových situacích. Například by jednou mohla pomoci zajistit, aby nedostatečně zastoupení pacienti nebyli chybně diagnostikováni kvůli zaujatému modelu AI.

„Mnoho dalších algoritmů, které se snaží řešit tento problém, předpokládá, že každý datový bod je stejně důležitý jako každý jiný datový bod. V tomto článku ukazujeme, že tento předpoklad není pravdivý. Existují specifické body v naší datové sadě, které přispívají k tomuto zkreslení, a my můžeme tyto datové body najít, odstranit je a dosáhnout lepšího výkonu,“ říká Kimia Hamidieh, absolventka elektrotechniky a informatiky (EECS) na MIT a vedoucí autorka článku o této technice.

Článek napsala s vedoucími autory Saachi Jain PhD '24 a kolegou absolventem EECS Kristianem Georgievem; Andrewem Ilyasem MEng '18, PhD '23, Stein Fellowem na Stanfordské univerzitě; a seniorními autory Marzyeh Ghassemi, docentkou EECS a členkou Institutu lékařského inženýrství a Laboratoře pro informační a rozhodovací systémy, a Aleksandrem Madrym, profesorem Cadence Design Systems na MIT. Výzkum bude představen na konferenci o zpracování neuronových informací.

Odstranění špatných příkladů

Modely strojového učení jsou často trénovány pomocí obrovských datových sad shromážděných z mnoha zdrojů na internetu. Tyto datové sady jsou příliš velké na to, aby je bylo možné pečlivě ručně kurátovat, takže mohou obsahovat špatné příklady, které poškozují výkon modelu.

Vědci také vědí, že některé datové body ovlivňují výkon modelu u určitých následných úkolů více než jiné.

Výzkumníci z MIT kombinovali tyto dvě myšlenky do přístupu, který identifikuje a odstraňuje tyto problematické datové body. Snaží se vyřešit problém známý jako chyba nejhorší skupiny, ke které dochází, když model podává horší výkon u menšinových podskupin v trénovací datové sadě.

Nová technika výzkumníků vychází z předchozí práce, ve které představili metodu zvanou TRAK, která identifikuje nejdůležitější trénovací příklady pro specifický výstup modelu.

Pro tuto novou techniku ​​berou nesprávné předpovědi, které model provedl o menšinových podskupinách, a používají TRAK k identifikaci trénovacích příkladů, které k této nesprávné předpovědi přispěly nejvíce.

„Agregováním těchto informací napříč špatnými testovacími predikcemi správným způsobem jsme schopni najít specifické části tréninku, které snižují přesnost nejhorší skupiny,“ vysvětluje Ilyas.

Poté odstraní tyto specifické vzorky a znovu vycvičí model na zbývajících datech.

Vzhledem k tomu, že více dat obvykle vede k lepšímu celkovému výkonu, odstranění pouze vzorků, které způsobují selhání nejhorší skupiny, udržuje celkovou přesnost modelu a zároveň zvyšuje jeho výkon u menšinových podskupin.

Přístupnější přístup

Napříč třemi datovými sadami strojového učení jejich metoda překonala několik technik. V jednom případě zvýšila přesnost nejhorší skupiny, zatímco odstranila přibližně o 20 000 méně trénovacích vzorků než konvenční metoda vyvažování dat. Jejich technika také dosáhla vyšší přesnosti než metody, které vyžadují změny ve vnitřním fungování modelu.

Protože metoda MIT zahrnuje změnu datové sady, bylo by pro praktika snazší ji používat a lze ji aplikovat na mnoho typů modelů.

Dá se také použít, když je zkreslení neznámé, protože podskupiny v trénovací datové sadě nejsou označeny. Identifikací datových bodů, které nejvíce přispívají k funkci, kterou se model učí, mohou pochopit proměnné, které používá k provedení predikce.

„Toto je nástroj, který může každý použít při trénování modelu strojového učení. Mohou se podívat na tyto datové body a zjistit, zda jsou v souladu se schopností, které se snaží modelu naučit,“ říká Hamidieh.

Použití techniky k detekci neznámého zkreslení podskupin by vyžadovalo intuici o tom, které skupiny hledat, takže výzkumníci doufají, že ji ověří a podrobněji ji prozkoumají prostřednictvím budoucích studií s lidmi.

Také chtějí zlepšit výkon a spolehlivost své techniky a zajistit, aby byla metoda přístupná a snadno použitelná pro praktické pracovníky, kteří by ji jednou mohli nasadit v reálných podmínkách.

„Když máte nástroje, které vám umožňují kriticky se podívat na data a zjistit, které datové body povedou k zkreslení nebo jinému nežádoucímu chování, dává vám to první krok k vytváření modelů, které budou spravedlivější a spolehlivější,“ říká Ilyas.

Tato práce je částečně financována Národní vědeckou nadací a Agenturou pro vyspělé obranné výzkumné projekty USA.