GPU Relighting systém pro studii usability

Cílem této semestrální práce je vytvořit rychlou a robustní implementaci relighting systému (systém umožňující interaktivní změnu osvětlení v již vyrenderované scéně) s GI (global illumination - globální osvětlení), které bude následně využita pro studii použitelnosti. V této studii bude systém používán laiky pro nasvěcování interiérových a exteriérových scén. Cílem je zodpovědět několik otázek, například:

• Dokáže laik vytvořit osvětlení jednoduchých (složitých) scén, které bude dávat stejný výsledek jako reference?
• Dosáhnou uživatelé lepší kvality s nebo bez použití GI?
• Dokáže uživatel předvídat dopad světel na konečnou podobu renderu?
• Není fyzikální korektnost osvětlení s využitím GI příliš restriktivní proti běžným filmovým konfiguracím s key/fill lights?

Jedná se o pokračování studií ^{1) 2) 3)}.

Relighting systém bude vycházet z algoritmu Direct-to-indirect transfer for cinematic relighting popsaném v ⁴⁾ a bude implementovaný na grafické kartě, což by mělo v ideálním případě umožnit dosáhnout interaktivní snímkové frekvence.

Projekt řeší tým ve složení: Jaroslav Křivánek (předvýpočet), Fabio Pellacini (konzultace, psaní paperu), Martin Růžička (framework a UI pro realtime aplikaci), Ondřej Karlík + Václav Gassenbauer (implementace zobrazovací části Direct-to-indirect transfer (DTIT)) a konečným cílem je vytvoření článku na konferenci Siggraph.

I když existuje mnoho relighting systémů, ten ze článku Direct-to-indirect transfer for cinematic relighting je unikátní svojí podporou GI. Algoritmus funguje tak, že zvolí ve scéně sadu n vzorků (gather samples), a propočítá mezi nimi vzájemný přenos energie. Výsledek se uloží do matice n×n. Pokud konvenčními metodami (např. stínové mapy) vypočítáme intenzitu přímého osvětlení na vzorcích, dokážeme touto maticí transformovat přímé osvětlení na nepřímé. Protože tato matice je ale příliš velká, je potřeba ji zkomprimovat, například pomocí ztrátové wavelet komprese. Pro zvýšení kvality se dále používá další matice, tzv. final gather matice, která transformuje vektor osvětlení na vzorcích ve scéně na vektor osvětlení na vzorcích viditelných z kamery. Tyto dvě matice se předpočítají, zkomprimují a uloží. Na tom pracuje J. Křivánek a není to součást této semestrální práce.

Uživatelské rozhraní pro manipulaci se světly má na starosti samostatná aplikace Kodiak, vyvíjená M. Růžičkou jako jeho diplomová práce. Tato aplikace také bude poskytovat framework pro zobrazování výsledků DTIT.

Použitý základní programovací jazyk je C++, kvůli jeho rychlosti a podpoře moderních programovacích konstruktů, jako je OOP, polymorfismus, šablony, atd. Jako programovací jazyk na GPU byl nakonec vybrán jazyk CG. Jde o shader jazyk od firem NVidia a Microsoft. Jeho výhodou je, že narozdíl od jazyků GLSL a HLSL podporuje jak OpenGL, tak i Direct3D. Jeho systém profilů pro kompilaci umožňuje jeden a ten samý zdrojový kód kompilovat různě podle grafické karty, na které zrovna běží, aby dosáhl vždy největšího výkonu. Důvod proč jsm se rozhodli používat shader jazyk a ne univerzální GPU jazyk jako je CUDA je právě v rychlosti: specializovaný jazyk bývá podle zkušeností řádově cca dvakrát rychlejší než univerzální CUDA.

Do aplikace vstupují předpočítané „gather samples“ (vzorky umístěné náhodně ve scéně), „view samples“ (vzorky umístěné na místech viditelných z kamery). U těchto vzorků si pamatujeme jejich polohu, normálu, difůzní odrazivost, a u view samples navíc spekulární odrazivost a spekulární koeficient (ty u gather samples nepotřebujeme, neboť u nich neuvažujeme spekulární složku). Dále načteme matice: multibounce matici, která převádí přímé osvětlení na gather samplech na nepřímé a final gather matici, která převádí přímé+nepřímé osvětlení na gather samplech na nepřímé osvětlení na gather samplech. Tyto matice jsou zkomprimované waveletovou kompresí - z každého řádku si pamatujeme jen fixní počet koeficientů

Algoritmus syntézy obrazu se pak skládá z několika kroků, ve kterých manipulujeme s vektory reprezentující osvětlení na gather/view vzorcích:

1. Vypočítáme přímé osvětlení na gather vzorcích
2. Na toto přímé osvětlení aplikujeme waveletovou transformaci
3. Vynásobíme mezi sebou multibounce matici a vektor přímého osvětlení (oboje je nyní transformované do waveletů), výsledkem je nepřímé osvětlení na gather vzorcích
4. sečteme výsledky kroků 1) a 3), výsledkem je celkové osvětlení na gather vzorcích
5. Celkové osvětlení na gather vzorcích opět waveletově transformujeme a vynásobíme s final gather maticí. Výsledkem je nepřímé osvětlení na view vzorcích
6. Spočítáme přímé osvětlení na view vzorcích a sečteme s výsledkem minulé operace. Výsledkem je přímo finální obrázek.

Vzhledem k implementaci na GPU je přirozené jednotlivé vektory a matice reprezentovat jako textury/buffery na grafické kartě. Jako problém se jeví omezená paměť na grafické kartě. Pro realistické vykreslování složitějších scén je potřeba mít řádově milion gather vzorků. View vzorků je tolik, jaké je rozlišení obrázku (pokud použijeme supersampling, tak ještě více). Protože je třeba šetřit paměť, analyzovali jsme algoritmus a zjistili jsme, že si vystačíme se 2 RGB buffery odpovídajícím velikostí počtu gather vzorků a jedním RGB buffem velikosti view vzorků, kam se bude ukládat finální výsledek. Také jsme se snažili omezit paměťovou náročnost používáním menších datových typu (jako například half). Výsledné schéma algoritmu, které bere v potaz tyto optimalizace, je v následujícím dokumentu: karliond_dtit_schema.pdf

Bylo rozhodnuto, že pro testy jsou potřeba následující typy světel:

• bodový všesměrový zdoj světla - omni light
• bodový směrový zdroj světla - spot light
• plošný zdroj světla - area light

Všechny druhy světel budou ve dvou variantách: key light a fill light. Key lights jsou primární zdroje světla, které mají vyšší intenzitu a vrhají stíny. Fill lights slouží k doladění osvětlení, jsou typicky difůznější, méně intenzivní, a v naší implementaci nebudou vrhat stíny. Protože nelze vždy v reálném čase uspokojivě vypočítat stíny od plošného zdroje světla, budou tyto světla v naší implementaci pouze ve variantě fill light. Pro iradianci z plošného difůzního světla, které nevrhá stíny existuje analytický vzorec pro výpočet ⁵⁾