Modely strojového učení nejsou neomylné a mohou poskytovat nesprávné předpovědi. Proto jsou často vybaveny schopností sdělit uživateli, jak jsou si jisté svým rozhodnutím. Tato funkce je klíčová zejména v situacích, kdy se na rozhodnutí modelu spoléhají lidské životy nebo důležité procesy, například při identifikaci nemocí na lékařských snímcích či filtrování žádostí o zaměstnání.
Aby však byly tyto odhady nejistoty užitečné, musí být především přesné. Pokud model uvede, že si je na 49 % jistý, že lékařský snímek zobrazuje pleurální výpotek, pak by se měl ve 49 % případů skutečně trefit.
Výzkumníci z MIT představili nový přístup, který může zlepšit odhady nejistoty u modelů strojového učení. Jejich metoda nejenže generuje přesnější odhady nejistoty než jiné techniky, ale dělá to také efektivněji. Navíc je tato technika škálovatelná, což znamená, že ji lze aplikovat i na obrovské modely hlubokého učení, které se stále častěji nasazují ve zdravotnictví a dalších oblastech, kde je bezpečnost zásadní.
Tato inovace má potenciál výrazně zvýšit důvěryhodnost a spolehlivost modelů umělé inteligence, což by mohlo vést k jejich širšímu a bezpečnějšímu využití v různých odvětvích.
Tato technika by mohla poskytnout koncovým uživatelům, z nichž mnozí postrádají odborné znalosti v oblasti strojového učení, lepší informace, které mohou využít k posouzení, zda důvěřovat předpovědím modelu nebo zda by model měl být nasazen pro konkrétní úkol.
"Je snadné pozorovat, jak tyto modely podávají vynikající výkon v situacích, ve kterých jsou velmi dobré, a pak předpokládat, že budou stejně dobré i v jiných scénářích. To je důvod, proč je důležité prosazovat tento druh práce, který se snaží lépe kalibrovat nejistotu těchto modelů, abychom se ujistili, že jsou v souladu s lidským vnímáním nejistoty," říká hlavní autor Nathan Ng, doktorand na univerzitě v Torontu, který je hostujícím studentem na MIT.
Ng napsal článek společně s Rogerem Grossem, odborným asistentem informatiky na univerzitě v Torontu, a seniorní autorkou Marzyeh Ghassemiovou, docentkou na katedře elektrotechniky a informatiky a členkou Ústavu lékařského inženýrství a Laboratoře pro informační a rozhodovací systémy. Výzkum bude prezentován na Mezinárodní konferenci o strojovém učení.
Kvantifikace nejistoty
Metody kvantifikace nejistoty často vyžadují složité statistické výpočty, které se špatně škálují na modely strojového učení s miliony parametrů. Tyto metody také vyžadují, aby uživatelé učinili předpoklady o modelu a datech použitých k jeho trénování.
Výzkumníci z MIT zvolili jiný přístup. Využívají princip minimální délky popisu (MDL), který nevyžaduje předpoklady, které mohou snižovat přesnost jiných metod. MDL se používá k lepší kvantifikaci a kalibraci nejistoty pro testovací body, které má model označit.
Technika, kterou výzkumníci vyvinuli, známá jako IF-COMP, dělá MDL dostatečně rychlou pro použití s velkými modely hlubokého učení nasazovanými v mnoha reálných prostředích.
MDL zahrnuje zvážení všech možných štítků, které by model mohl dát testovacímu bodu. Pokud existuje mnoho alternativních štítků pro tento bod, které dobře sedí, měla by se jeho důvěra ve vybraný štítek odpovídajícím způsobem snížit.
"Jeden způsob, jak porozumět tomu, jak si je model jistý, by bylo říct mu nějakou kontrafaktuální informaci a zjistit, jak je pravděpodobné, že vám uvěří," říká Ng.
Zvažte například model, který říká, že lékařský snímek ukazuje pleurální výpotek. Pokud výzkumníci řeknou modelu, že tento snímek ukazuje edém, a model je ochoten aktualizovat svůj názor, pak by měl být méně jistý svým původním rozhodnutím.
S MDL, pokud si je model jistý, když označuje datový bod, měl by použít velmi krátký kód k popisu tohoto bodu. Pokud si není jistý svým rozhodnutím, protože bod by mohl mít mnoho dalších štítků, použije delší kód, aby zachytil tyto možnosti.
Množství kódu použitého k označení datového bodu je známé jako stochastická datová komplexnost. Pokud se výzkumníci zeptají modelu, jak je ochoten změnit svůj názor na datový bod vzhledem k opačným důkazům, stochastická datová komplexnost by se měla snížit, pokud si je model jistý.
Testování každého datového bodu pomocí MDL by však vyžadovalo obrovské množství výpočtů.
Zrychlení procesu
S IF-COMP vyvinuli výzkumníci aproximační techniku, která dokáže přesně odhadnout stochastickou datovou komplexnost pomocí speciální funkce, známé jako funkce vlivu. Použili také statistickou techniku nazývanou teplotní škálování, která zlepšuje kalibraci výstupů modelu. Tato kombinace funkcí vlivu a teplotního škálování umožňuje vysoce kvalitní aproximace stochastické datové komplexnosti.
IF-COMP dokáže efektivně produkovat dobře kalibrované kvantifikace nejistoty, které odrážejí skutečnou důvěru modelu. Technika také dokáže určit, zda model nesprávně označil určité datové body, nebo odhalit, které datové body jsou odlehlé.
Výzkumníci testovali svůj systém na těchto třech úkolech a zjistili, že byl rychlejší a přesnější než jiné metody.
"Je opravdu důležité mít jistotu, že model je dobře kalibrovaný, a existuje rostoucí potřeba odhalit, když konkrétní předpověď nevypadá úplně správně. Auditovací nástroje jsou stále více nezbytné v problémech strojového učení, protože používáme velké množství neprozkoumaných dat k vytváření modelů, které budou aplikovány na problémy týkající se lidí," říká Ghassemi.
IF-COMP je modelově agnostická, takže může poskytovat přesné kvantifikace nejistoty pro mnoho typů modelů strojového učení. To by mohlo umožnit její nasazení v širší škále reálných prostředí a nakonec pomoci více odborníkům činit lepší rozhodnutí.
"Lidé musí pochopit, že tyto systémy jsou velmi omylné a mohou si věci vymýšlet za pochodu. Model může vypadat, že si je velmi jistý, ale existuje spousta různých věcí, kterým je ochoten věřit vzhledem k důkazům o opaku," říká Ng.
V budoucnu se výzkumníci zajímají o aplikaci svého přístupu na velké jazykové modely a studium dalších možných případů použití pro princip minimální délky popisu.
Související články
Roboti budoucnosti: Učí se ze všeho a zvládnou cokoliv!
MIT Revoluce: Trénink Robotů Budoucnosti Zkrácen na Minimum!
Atlas ožívá! Elektrický humanoid od Boston Dynamics zvládá práci v automobilce
Sdílet na sociálních sítích:
Komentáře