Fotonický procesor umožní ultrarychlé výpočty AI s extrémní energetickou účinností

Modely hlubokých neuronových sítí, které pohánějí dnešní nejnáročnější aplikace strojového učení, se staly tak rozsáhlými a komplexními, že dosahují limitů tradičního elektronického výpočetního hardwaru.

Fotonický hardware, který dokáže provádět výpočty strojového učení pomocí světla, nabízí rychlejší a energeticky účinnější alternativu. Existují však některé typy výpočtů neuronových sítí, které fotonické zařízení nedokáže provést, a vyžadují použití elektroniky mimo čip nebo jiných technik, které brzdí rychlost a efektivitu.

Na základě desetiletí výzkumu vyvinuli vědci z MIT a dalších institucí nový fotonický čip, který tyto překážky překonává. Předvedli plně integrovaný fotonický procesor, který dokáže provádět všechny klíčové výpočty hluboké neuronové sítě opticky na čipu.

Optické zařízení dokázalo dokončit klíčové výpočty pro úkol klasifikace strojového učení za méně než půl nanosekundy, přičemž dosáhlo přesnosti přes 92 procent – výkon srovnatelný s tradičním hardwarem.

Čip, složený z propojených modulů, které tvoří optickou neuronovou síť, je vyroben pomocí komerčních procesů výroby polovodičů, což by mohlo umožnit škálování technologie a její integraci do elektroniky.

V dlouhodobém horizontu by fotonický procesor mohl vést k rychlejšímu a energeticky efektivnějšímu hlubokému učení pro výpočetně náročné aplikace, jako je lidar, vědecký výzkum v astronomii a fyzice částic nebo vysokorychlostní telekomunikace.

„Existuje mnoho případů, kdy nezáleží jen na tom, jak dobře model funguje, ale také na tom, jak rychle získáme odpověď. Nyní, když máme systém, který dokáže spustit neuronovou síť opticky v nanosekundové časové škále, můžeme začít přemýšlet na vyšší úrovni o aplikacích a algoritmech,“ říká Saumil Bandyopadhyay, vedoucí autor článku o novém čipu.

Výzkum byl publikován v časopise Nature Photonics.

Strojové učení se světlem

Hluboké neuronové sítě se skládají z mnoha vzájemně propojených vrstev uzlů, nebo neuronů, které zpracovávají vstupní data a vytvářejí výstup. Klíčovou operací v hluboké neuronové síti je použití lineární algebry k provedení násobení matic, které transformuje data, jak procházejí z vrstvy na vrstvu.

Kromě těchto lineárních operací provádějí hluboké neuronové sítě nelineární operace, které pomáhají modelu učit se složitější vzory. Nelineární operace, jako jsou aktivační funkce, dávají hlubokým neuronovým sítím moc řešit komplexní problémy.

V roce 2017 skupina Englunda společně s výzkumníky v laboratoři Marina Soljačiće předvedla optickou neuronovou síť na jediném fotonickém čipu, která dokázala provádět násobení matic se světlem.

V té době však zařízení nedokázalo provádět nelineární operace na čipu. Optická data musela být převedena na elektrické signály a odeslána do digitálního procesoru, aby bylo možné provést nelineární operace.

Tento problém byl překonán navržením zařízení zvaných nelineární optické funkční jednotky (NOFU), které kombinují elektroniku a optiku k implementaci nelineárních operací na čipu.

Výzkumníci postavili optickou hlubokou neuronovou síť na fotonickém čipu pomocí tří vrstev zařízení, která provádějí lineární a nelineární operace.

Plně integrovaná síť

Na začátku systém zakóduje parametry hluboké neuronové sítě do světla. Poté pole programovatelných děličů paprsků provede násobení matic na těchto vstupech.

Data pak projdou programovatelnými NOFU, které implementují nelineární funkce odčerpáním malého množství světla do fotodiod, které převádějí optické signály na elektrický proud. Tento proces, který eliminuje potřebu externího zesilovače, spotřebovává velmi málo energie.

Dosáhnutí tak nízké latence jim umožnilo efektivně trénovat hlubokou neuronovou síť na čipu, proces známý jako in situ trénink, který obvykle spotřebovává obrovské množství energie v digitálním hardwaru.

Fotonický systém dosáhl přesnosti přes 96 procent během testovacích tréninků a přesnosti přes 92 procent během inference, což je srovnatelné s tradičním hardwarem. Navíc čip provádí klíčové výpočty za méně než půl nanosekundy.

Celý obvod byl vyroben pomocí stejné infrastruktury a procesů výroby, které se používají k výrobě CMOS počítačových čipů. To by mohlo umožnit výrobu čipu ve velkém měřítku pomocí osvědčených technik, které do výrobního procesu zavádějí velmi malé chyby.

Zvětšení zařízení a jeho integrace se skutečnou elektronikou, jako jsou kamery nebo telekomunikační systémy, bude hlavním zaměřením budoucí práce. Výzkumníci také chtějí prozkoumat algoritmy, které mohou využít výhod optiky k rychlejšímu a energeticky efektivnějšímu tréninku systémů.