3D modelování, které můžete i nahmatat

Nástroje pro 3D modelování, nezbytné v mnoha odvětvích od hollywoodské počítačové grafiky až po design produktů, často využívají textové nebo obrazové podněty k definování různých aspektů vizuálního vzhledu, jako je barva a tvar. I když je to logický první krok, tyto systémy jsou stále omezené v realistickém zobrazení, protože zanedbávají něco zásadního pro lidskou zkušenost: hmat.

Základní vlastností fyzických objektů jsou jejich hmatové vlastnosti, jako je drsnost, hrbolatost nebo pocit materiálů, jako je dřevo nebo kámen. Existující metody modelování často vyžadují pokročilé znalosti počítačem podporovaného designu a zřídka kdy podporují hmatovou zpětnou vazbu, která může být klíčová pro to, jak vnímáme a interagujeme s fyzickým světem.

S tímto vědomím vytvořili výzkumníci z MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) nový systém pro stylizaci 3D modelů pomocí obrazových podnětů, efektivně replikující jak vizuální vzhled, tak hmatové vlastnosti.

Nástroj „TactStyle“ od týmu CSAIL umožňuje tvůrcům stylizovat 3D modely na základě obrázků a zároveň začlenit očekávané hmatové vlastnosti textur. TactStyle odděluje vizuální a geometrickou stylizaci, čímž umožňuje replikaci obou vlastností z jediného obrazového vstupu.

Doktorand Faraz Faruqi, hlavní autor nové studie o projektu, říká, že TactStyle by mohl mít dalekosáhlé aplikace, od domácího dekoru a osobních doplňků až po hmatové vzdělávací pomůcky. TactStyle umožňuje uživatelům stáhnout základní design – například stojan na sluchátka z Thingiverse – a přizpůsobit si ho styly a texturami, které si přejí. Ve vzdělávání mohou studenti prozkoumávat rozmanité textury z celého světa, aniž by opustili učebnu, zatímco v designu produktů se zjednodušuje rychlé prototypování, protože návrháři rychle tisknou více iterací pro vylepšení hmatových vlastností.

„Můžete si představit použití takového systému pro běžné předměty, jako jsou stojánky na telefony a pouzdra na sluchátka, které umožní složitější textury a vylepší hmatovou zpětnou vazbu různými způsoby,“ říká Faruqi, který spolu s profesorkou MIT Stefanie Mueller, vedoucí skupiny Human-Computer Interaction (HCI) Engineering Group v CSAIL, napsal studii. „Můžete vytvářet hmatové vzdělávací pomůcky k demonstraci řady různých konceptů v oborech, jako je biologie, geometrie a topografie.“

Tradiční metody pro replikaci textur zahrnují použití specializovaných hmatových senzorů – jako je GelSight, vyvinutý na MIT – které fyzicky dotýkají objektu, aby zachytily jeho povrchovou mikrogeometrii jako „výškový model“. To však vyžaduje fyzický objekt nebo jeho zaznamenaný povrch pro replikaci. TactStyle umožňuje uživatelům replikovat povrchovou mikrogeometrii využitím generativní AI k generování výškového modelu přímo z obrázku textury.

Navíc na platformách, jako je úložiště 3D tisku Thingiverse, je obtížné brát jednotlivé návrhy a přizpůsobovat si je. Pokud uživatel nemá dostatečné technické znalosti, změna designu ručně hrozí jeho poškozením, takže už ho nelze vytisknout. Všechny tyto faktory vedly Faruqiho k úvahám o vytvoření nástroje, který umožňuje přizpůsobení stahovatelných modelů na vysoké úrovni, ale zároveň zachovává funkčnost.

V experimentech TactStyle ukázal významná zlepšení oproti tradičním metodám stylizace generováním přesných korelací mezi vizuálním obrazem textury a jejím výškovým modelem. To umožňuje replikaci hmatových vlastností přímo z obrázku. Jeden psychofyzikální experiment ukázal, že uživatelé vnímají generované textury TactStyle jako podobné jak očekávaným hmatovým vlastnostem z vizuálního vstupu, tak hmatovým vlastnostem původní textury, což vede k jednotné hmatové a vizuální zkušenosti.

TactStyle využívá existující metodu zvanou „Style2Fab“, k úpravě barevných kanálů modelu tak, aby odpovídaly vizuálnímu stylu vstupního obrazu. Uživatelé nejprve poskytnou obrázek požadované textury a poté se použije jemně vyladěný variační autoenkóder k přeložení vstupního obrazu do odpovídajícího výškového modelu. Tento výškový model se pak použije k úpravě geometrie modelu tak, aby se vytvořily hmatové vlastnosti.

Moduly pro stylizaci barev a geometrie pracují společně a stylizují jak vizuální, tak hmatové vlastnosti 3D modelu z jediného obrazového vstupu. Faruqi říká, že hlavní inovace spočívá v modulu geometrické stylizace, který používá jemně vyladěný difúzní model k generování výškových modelů z obrázků textur – něco, co předchozí rámce stylizace nepřesně replikují.

Do budoucna Faruqi říká, že tým se zaměřuje na rozšíření TactStyle o generování nových 3D modelů pomocí generativní AI s integrovanými texturami. To vyžaduje prozkoumání přesného typu potrubí potřebného k replikaci jak formy, tak funkce vyráběných 3D modelů. Plánují také zkoumat „vizuálně-hmatové nesoulady“ za účelem vytvoření nových zkušeností s materiály, které odporují konvenčním očekáváním, jako je něco, co vypadá jako vyrobené z mramoru, ale cítí se jako vyrobené ze dřeva.

Faruqi a Mueller spolu s doktorandy Maxine Perroni-Scharf a Yunyi Zhu, hostujícím studentem Jaskaran Singh Walia, hostujícím studentem Shuyue Feng a asistentem profesora Donalda Degraena z Human Interface Technology (HIT) Lab NZ na Novém Zélandu, napsali novou studii.