Umělá inteligence vysvětluje svá předpovědi srozumitelně

Modely strojového učení mohou dělat chyby a jsou někdy obtížně použitelné. Vědci proto vyvinuli metody vysvětlení, které uživatelům pomohou pochopit, kdy a jak mají důvěřovat předpovědím modelu.

Tato vysvětlení jsou však často komplexní, obsahují informace o stovkách charakteristik modelu a jsou někdy prezentována jako mnohostranné vizualizace, které mohou být pro uživatele bez znalostí strojového učení obtížně pochopitelné.

Aby lidem pomohli pochopit vysvětlení AI, výzkumníci z MIT použili velké jazykové modely (LLM) k transformaci vysvětlení založených na grafech do běžného jazyka.

Vyvinuli dvoufázový systém, který převádí vysvětlení strojového učení do odstavce čitelného textu a poté automaticky vyhodnocuje kvalitu textu, aby koncový uživatel věděl, zda mu může důvěřovat.

Zadáním několika příkladů vysvětlení mohou výzkumníci přizpůsobit popisná vyprávění systému tak, aby vyhovovala preferencím uživatelů nebo požadavkům specifických aplikací.

Dlouhodobým cílem výzkumníků je vylepšit tuto techniku ​​umožněním uživatelům klást modelu doplňující otázky o tom, jak dospěl k předpovědím v reálných situacích.

„Cílem našeho výzkumu bylo udělat první krok k tomu, aby uživatelé mohli vést s modely strojového učení plnohodnotné konverzace o důvodech, proč učinily určitá předpovědi, aby tak mohli lépe rozhodovat o tom, zda modelu naslouchat,“ říká Alexandra Zytek, absolventka elektrotechniky a informatiky (EECS) a hlavní autorka článku o této technice.

Na článku se podílela také Sara Pido, postdoktorandka MIT; Sarah Alnegheimish, absolventka EECS; Laure Berti-Équille, výzkumná ředitelka Francouzského národního výzkumného institutu pro udržitelný rozvoj; a hlavní autor Kalyan Veeramachaneni, hlavní výzkumný vědec v Laboratoři pro informační a rozhodovací systémy. Výzkum bude prezentován na konferenci IEEE Big Data.

Vysvětlení vysvětlení

Výzkumníci se zaměřili na populární typ vysvětlení strojového učení zvaný SHAP. Ve vysvětlení SHAP je každé charakteristice, kterou model používá k provedení předpovědi, přiřazena hodnota. Například, pokud model předpovídá ceny domů, jednou z charakteristik může být poloha domu. Poloha by dostala kladnou nebo zápornou hodnotu, která vyjadřuje, o kolik tato charakteristika změnila celkovou předpověď modelu.

Vysvětlení SHAP jsou často prezentována jako sloupcové grafy, které ukazují, které charakteristiky jsou nejdůležitější nebo nejméně důležité. Ale u modelu s více než 100 charakteristikami se tento sloupcový graf rychle stává nepraktickým.

„Jako výzkumníci musíme dělat mnoho rozhodnutí o tom, co budeme vizuálně prezentovat. Pokud se rozhodneme ukázat pouze prvních 10, lidé se mohou ptát, co se stalo s jinou charakteristikou, která není v grafu. Použití přirozeného jazyka nás zbavuje nutnosti dělat tato rozhodnutí,“ říká Veeramachaneni.

Výzkumníci však místo použití velkého jazykového modelu k generování vysvětlení v přirozeném jazyce používají LLM k transformaci existujícího vysvětlení SHAP do čitelného vyprávění.

Pouhým zpracováním pouze jazykové části procesu LLM se omezuje možnost zavádění nepřesností do vysvětlení, vysvětluje Zytek.

Jejich systém, nazvaný EXPLINGO, je rozdělen na dvě části, které spolupracují.

První komponenta, nazvaná NARRATOR, používá LLM k vytvoření popisných vyprávění o vysvětleních SHAP, která splňují preference uživatelů. Počátečním zadáním tří až pěti písemných příkladů popisných vysvětlení LLM napodobí tento styl při generování textu.

„Místo toho, aby se uživatel snažil definovat, jaký typ vysvětlení hledá, je snazší jednoduše napsat, co chce vidět,“ říká Zytek.

To umožňuje snadné přizpůsobení NARRATORu pro nová použití zobrazením různé sady ručně napsaných příkladů.

Poté, co NARRATOR vytvoří vysvětlení v běžném jazyce, druhá komponenta, GRADER, použije LLM k ohodnocení textu na základě čtyř metrik: stručnost, přesnost, úplnost a plynulost. GRADER automaticky vyzve LLM k zadání textu z NARRATORu a vysvětlení SHAP, které popisuje.

„Zjistili jsme, že i když LLM udělá chybu při provádění úkolu, často neudělá chybu při kontrole nebo ověřování tohoto úkolu,“ říká.

Uživatelé si také mohou přizpůsobit GRADER tak, aby dal různou váhu každé metrice.

„Můžete si například představit, že v případě vysokých sázek byste dali větší váhu přesnosti a úplnosti než plynulosti,“ dodává.

Analýza vyprávění

Pro Zytek a její kolegy jednou z největších výzev bylo upravit LLM tak, aby generoval přirozeně znějící vyprávění. Čím více pokynů přidali k řízení stylu, tím větší byla pravděpodobnost, že LLM zavede chyby do vysvětlení.

„Došlo k velkému ladění výzev, aby se každá chyba našla a opravila jednotlivě,“ říká.

Aby otestovali svůj systém, výzkumníci vzali devět datových souborů strojového učení s vysvětleními a nechali různé uživatele napsat vyprávění pro každou datovou sadu. To jim umožnilo vyhodnotit schopnost NARRATORu napodobovat jedinečné styly. Použili GRADER k hodnocení každého popisného vysvětlení na všech čtyřech metrikách.

Nakonec výzkumníci zjistili, že jejich systém dokáže generovat vysoce kvalitní popisná vysvětlení a efektivně napodobovat různé styly psaní.

Jejich výsledky ukazují, že poskytnutí několika ručně napsaných příkladů vysvětlení výrazně zlepšuje styl vyprávění. Tyto příklady však musí být pečlivě napsány – zahrnutí komparativních slov, jako je „větší“, může způsobit, že GRADER označí přesná vysvětlení jako nesprávná.

Na základě těchto výsledků chtějí výzkumníci prozkoumat techniky, které by mohly pomoci jejich systému lépe zvládat komparativní slova. Také chtějí rozšířit EXPLINGO přidáním zdůvodnění do vysvětlení.

Dlouhodobě doufají, že tuto práci využijí jako odrazový můstek k interaktivnímu systému, kde se uživatel může zeptat modelu na doplňující otázky týkající se vysvětlení.

„To by pomohlo při rozhodování mnoha způsoby. Pokud lidé nesouhlasí s předpovědí modelu, chceme, aby byli schopni rychle zjistit, zda je jejich intuice správná, nebo zda je správná intuice modelu, a kde se tento rozdíl bere,“ říká Zytek.