Poškozený obraz? Obnovte ho za pár hodin pomocí AI masky

Restaurování umění vyžaduje stálé ruce a bystrý zrak. Po staletí konzervátoři obnovovali obrazy identifikací oblastí vyžadujících opravu a následným mícháním přesných odstínů k vyplnění jedné oblasti po druhé. Obraz může mít často tisíce drobných oblastí vyžadujících individuální pozornost. Restaurování jediného obrazu může trvat od několika týdnů až po více než deset let.

V posledních letech otevřely digitální nástroje pro restaurování cestu k vytváření virtuálních reprezentací originálních, restaurovaných děl. Tyto nástroje využívají techniky počítačového vidění, rozpoznávání obrazu a sladění barev k relativně rychlému generování „digitálně restaurované“ verze obrazu.

Dosud však neexistoval způsob, jak digitální restaurování přímo přenést na originální dílo, až doposud. V článku, který dnes vyšel v časopise Nature, představuje Alex Kachkine, postgraduální student strojního inženýrství na MIT, novou metodu, kterou vyvinul pro fyzické nanesení digitálního restaurování přímo na originální obraz.

Restaurování je vytištěno na velmi tenkou polymerní fólii ve formě masky, která může být zarovnána a přilepena na originální obraz. Lze ji také snadno odstranit. Kachkine říká, že digitální soubor masky lze uložit a v budoucnu k němu konzervátoři přistoupit, aby přesně viděli, jaké změny byly provedeny k restaurování originálního obrazu.

„Protože existuje digitální záznam o použité masce, za 100 let, až s tím někdo bude příště pracovat, bude mít extrémně jasnou představu o tom, co se s obrazem dělalo,“ říká Kachkine. „A to v konzervaci nikdy nebylo skutečně možné.“

Jako ukázku aplikoval tuto metodu na silně poškozený olejový obraz z 15. století. Metoda automaticky identifikovala 5 612 samostatných oblastí vyžadujících opravu a vyplnila tyto oblasti pomocí 57 314 různých barev. Celý proces od začátku do konce trval 3,5 hodiny, což je podle jeho odhadu asi 66krát rychleji než tradiční metody restaurování.

Kachkine připouští, že stejně jako u jakéhokoli projektu restaurování je třeba zvážit etické otázky, pokud jde o to, zda je restaurovaná verze vhodnou reprezentací původního stylu a záměru umělce. Jakékoli použití jeho nové metody, říká, by mělo být prováděno v konzultaci s konzervátory, kteří znají historii a původ obrazu.

„V úložištích je mnoho poškozeného umění, které by se možná nikdy nevidělo,“ říká Kachkine. „Doufám, že s touto novou metodou bude šance, že uvidíme více umění, z čehož bych byl nadšen.“

Digitální spojení

Nový proces restaurování začal jako vedlejší projekt. V roce 2021, když Kachkine cestoval na MIT, aby začal s doktorandským studiem strojního inženýrství, jel po východním pobřeží a cestou si dal záležet na návštěvě co nejvíce galerií.

„Zajímám se o umění už velmi dlouho, od dětství,“ říká Kachkine, který si jako koníček restauruje obrazy pomocí tradičních technik malby. Při prohlídce galerií si uvědomil, že umění na zdech je jen zlomek děl, které galerie vlastní. Velká část umění, které galerie získávají, je uložena, protože díla jsou stará nebo poškozená a jejich správné restaurování trvá čas.

„Restaurování obrazu je zábava a je skvělé si sednout, vyplnit věci a mít příjemný večer,“ říká Kachkine. „Ale to je velmi pomalý proces.“

Jak se dozvěděl, digitální nástroje mohou proces restaurování výrazně urychlit. Vědci vyvinuli algoritmy umělé inteligence, které rychle projdou obrovským množstvím dat. Algoritmy se učí spojení v těchto vizuálních datech, která aplikují na generování digitálně restaurované verze konkrétního obrazu způsobem, který se velmi podobá stylu umělce nebo časovému období. Takové digitální restaurování se však obvykle zobrazuje virtuálně nebo tiskne jako samostatná díla a nelze je přímo použít k retušování originálního umění.

„Tohle mě přimělo k zamyšlení: Kdybychom mohli obraz jednoduše digitálně restaurovat a výsledky fyzicky aplikovat, vyřešilo by to mnoho bolestivých bodů a nevýhod konvenčního manuálního procesu,“ říká Kachkine.

„Zarovnej a obnov“

Pro novou studii Kachkine vyvinul metodu, jak fyzicky aplikovat digitální restaurování na originální obraz, pomocí obrazu z 15. století, který získal, když poprvé přišel na MIT. Jeho nová metoda zahrnuje nejprve použití tradičních technik k vyčištění obrazu a odstranění všech předchozích snah o restaurování.

„Tento obraz je starý téměř 600 let a prošel konzervací mnohokrát,“ říká. „V tomto případě bylo poměrně hodně překreslování, které vše muselo být očištěno, aby se vidělo, co tam vlastně je.“

Naskenoval vyčištěný obraz, včetně mnoha oblastí, kde barva vybledla nebo popraskala. Poté použil stávající algoritmy umělé inteligence k analýze skenování a vytvoření virtuální verze toho, jak obraz pravděpodobně vypadal v původním stavu.

Poté Kachkine vyvinul software, který vytváří mapu oblastí na originálním obrazu, které vyžadují vyplnění, spolu s přesnými barvami potřebnými k sladění s digitálně restaurovanou verzí. Tato mapa se poté převede na fyzickou dvouvrstvou masku, která je vytištěna na tenké polymerní fólie. První vrstva je vytištěna barevně, zatímco druhá vrstva je vytištěna ve stejném vzoru, ale bíle.

„Aby bylo možné plně reprodukovat barvu, potřebujete jak bílý, tak barevný inkoust, abyste získali celé spektrum,“ vysvětluje Kachkine. „Pokud jsou tyto dvě vrstvy nesprávně zarovnány, je to velmi snadno vidět. Takže jsem také vyvinul několik výpočetních nástrojů, založených na tom, co víme o vnímání barev lidmi, abychom určili, jak malou oblast můžeme prakticky zarovnat a obnovit.“

Kachkine použil komerční inkoustové tiskárny s vysokou věrností k tisku dvou vrstev masky, které pečlivě zarovnal a ručně překryl na originální obraz a přilepil tenkým sprejem konvenčního laku. Tištěné fólie jsou vyrobeny z materiálů, které lze snadno rozpustit pomocí konzervátorských roztoků, v případě, že konzervátoři potřebují odhalit originální, poškozené dílo. Digitální soubor masky lze také uložit jako podrobný záznam o tom, co bylo restaurováno.

U obrazu, který Kachkine použil, tato metoda dokázala vyplnit tisíce ztrát za pouhých pár hodin. „Před několika lety jsem restauroval tento barokní italský obraz s pravděpodobně stejným řádem ztrát a trvalo mi to devět měsíců práce na částečný úvazek,“ vzpomíná. „Čím více ztrát je, tím lepší je tato metoda.“

Odhaduje, že nová metoda může být řádově rychlejší než tradiční ručně malované přístupy. Pokud bude metoda široce přijata, zdůrazňuje, že konzervátoři by se měli podílet na každém kroku procesu, aby se zajistilo, že finální dílo je v souladu se stylem a záměrem umělce.

„Bude to vyžadovat hodně úvah o etických otázkách, které se objevují v každé fázi tohoto procesu, abychom zjistili, jak to lze použít způsobem, který je v souladu s principy ochrany,“ říká. „Vytváříme rámec pro rozvoj dalších metod. Jak na tom budou jiní pracovat, skončíme s metodami, které budou přesnější.“

Tato práce byla částečně podpořena z John O. and Katherine A. Lutz Memorial Fund. Výzkum byl částečně prováděn s použitím vybavení a zařízení v MIT.Nano, s další podporou z MIT Microsystems Technology Laboratories, MIT Department of Mechanical Engineering a MIT Libraries.