Vědci učí velké jazykové modely řešit komplexní plánovací úlohy

Představte si kávovou společnost, která se snaží optimalizovat svůj dodavatelský řetězec. Společnost odebírá kávová zrna od tří dodavatelů, praží je ve dvou závodech na tmavou nebo světlou kávu a poté přepravuje praženou kávu do tří maloobchodních prodejen. Dodavatelé mají různou pevnou kapacitu a náklady na pražení a dopravu se liší od místa k místu.

Společnost se snaží minimalizovat náklady při splnění 23% nárůstu poptávky.

Nebylo by jednodušší, kdyby společnost požádala ChatGPT o vytvoření optimálního plánu? Ve skutečnosti velké jazykové modely (LLM), navzdory všem neuvěřitelným schopnostem, často podávají špatné výsledky, když mají za úkol přímo řešit takové složité plánovací problémy samostatně.

Místo toho, aby se vědci z MIT snažili změnit model tak, aby se LLM stal lepším plánovačem, zvolili jiný přístup. Představili rámec, který vede LLM k rozložení problému tak, jak by to udělal člověk, a poté ho automaticky vyřeší pomocí výkonného softwarového nástroje.

Uživatel pouze potřebuje popsat problém v přirozeném jazyce – k natrénování nebo výzvě LLM nejsou potřeba žádné úloha-specifické příklady. Model zakóduje textový výzvu uživatele do formátu, který může být rozvinut řešičem optimalizace, navrženým k efektivnímu řešení extrémně obtížných plánovacích úloh.

Během procesu formulace LLM kontroluje svou práci v několika mezilehlých krocích, aby se ujistil, že je plán správně popsán řešiči. Pokud zjistí chybu, místo toho, aby se vzdal, LLM se pokusí opravit poškozenou část formulace.

Když vědci testovali svůj rámec na devíti komplexních úlohách, jako je například minimalizace vzdálenosti, kterou musí skladové roboty urazit k dokončení úkolů, dosáhl 85% úspěšnosti, zatímco nejlepší základní model dosáhl pouze 39% úspěšnosti.

Všestranný rámec by mohl být použit pro celou řadu vícekrokových plánovacích úloh, jako je například plánování posádek leteckých společností nebo řízení času strojů v továrně.

„Náš výzkum představuje rámec, který v podstatě funguje jako chytrý asistent pro plánovací problémy. Může zjistit nejlepší plán, který splňuje všechny vaše potřeby, i když jsou pravidla složitá nebo neobvyklá,“ říká Yilun Hao, postgraduální student v MIT Laboratory for Information and Decision Systems (LIDS) a hlavní autor článku o tomto výzkumu.

K napsání článku se připojili Yang Zhang, vědecký pracovník v MIT-IBM Watson AI Lab, a vedoucí autor Chuchu Fan, docent letectví a kosmonautiky a hlavní výzkumný pracovník LIDS. Výzkum bude představen na Mezinárodní konferenci o reprezentaci učení.

Optimalizace 101

Skupina Fan vyvíjí algoritmy, které automaticky řeší tzv. kombinační optimalizační problémy. Tyto rozsáhlé problémy mají mnoho vzájemně propojených rozhodovacích proměnných, z nichž každá má více možností, které se rychle sčítají na miliardy potenciálních voleb.

Lidé řeší takové problémy tím, že je zužují na několik možností a poté určují, která z nich vede k nejlepšímu celkovému plánu. Algoritmičtí řešiči výzkumníků aplikují stejné principy na optimalizační problémy, které jsou pro člověka příliš komplexní na to, aby je vyřešil.

Ale řešiče, které vyvíjejí, mají tendenci mít strmé křivky učení a obvykle je používají pouze experti.

„Mysleli jsme si, že LLMs by mohly umožnit neexpertům používat tyto řešící algoritmy. V naší laboratoři bereme problém doménového experta a formalizujeme ho do problému, který náš řešič dokáže vyřešit. Mohli bychom naučit LLM dělat totéž?“ říká Fan.

Pomocí rámce, který vědci vyvinuli a nazvali LLM-Based Formalized Programming (LLMFP), uživatel poskytuje popis problému v přirozeném jazyce, základní informace o úkolu a dotaz, který popisuje jeho cíl.

Poté LLMFP vyzve LLM k uvažování o problému a určení rozhodovacích proměnných a klíčových omezení, které budou určovat optimální řešení.

LLMFP požádá LLM, aby detailně popsal požadavky na každou proměnnou, než zakóduje informace do matematické formulace optimalizačního problému. Napiše kód, který zakóduje problém a zavolá připojený optimalizační řešič, který dospěje k ideálnímu řešení.

„Je to podobné, jako když učíme na MIT studenty o optimalizačních problémech. Neučíme je jen jednu oblast. Učíme je metodologii,“ dodává Fan.

Dokud jsou vstupy do řešiče správné, dá správnou odpověď. Jakékoli chyby v řešení pocházejí z chyb v procesu formulace.

Aby se ujistila, že našla funkční plán, LLMFP analyzuje řešení a změní jakékoli nesprávné kroky ve formulaci problému. Jakmile plán projde touto sebehodnocením, je řešení popsáno uživateli v přirozeném jazyce.

Zdokonalování plánu

Tento modul sebehodnocení také umožňuje LLM přidat jakákoli implicitní omezení, která přehlédl poprvé, říká Hao.

Pokud například rámec optimalizuje dodavatelský řetězec tak, aby minimalizoval náklady pro kavárnu, člověk ví, že kavárna nemůže odeslat záporné množství pražených bobů, ale LLM si to možná neuvědomí.

Krok sebehodnocení by tuto chybu označil a vyzval model k její opravě.

„Navíc se LLM může přizpůsobit preferencím uživatele. Pokud si model uvědomí, že konkrétní uživatel nerad mění čas nebo rozpočet svých cestovních plánů, může navrhnout změny, které vyhovují potřebám uživatele,“ říká Fan.

V sérii testů jejich rámec dosáhl průměrné míry úspěšnosti mezi 83 a 87 procenty u devíti různých plánovacích problémů pomocí několika LLM. Zatímco některé základní modely byly v určitých problémech lepší, LLMFP dosáhl celkové míry úspěšnosti přibližně dvakrát vyšší než základní techniky.

Na rozdíl od těchto dalších přístupů LLMFP nevyžaduje pro školení úloha-specifické příklady. Dokáže najít optimální řešení plánovacího problému ihned po vybalení z krabice.

Uživatel může navíc přizpůsobit LLMFP pro různé optimalizační řešiče úpravou výzev podávaných LLM.

„S LLMs máme příležitost vytvořit rozhraní, které lidem umožní používat nástroje z jiných oblastí k řešení problémů způsoby, o kterých si předtím možná ani neuvědomovali,“ říká Fan.

V budoucnu chtějí vědci umožnit LLMFP přijímat obrázky jako vstup, aby doplnili popisy plánovacího problému. To by pomohlo rámci řešit úkoly, které jsou obzvláště obtížné plně popsat v přirozeném jazyce.

Tato práce byla částečně financována Úřadem námořního výzkumu a MIT-IBM Watson AI Lab.