Ondřej Sakala

Ahoj, jmenuju se Ondřej. Na FITu jsem v rámci bakaláře vystudoval počítačovou grafiku. Na magistru jsem se přesunul k umělé inteligenci (ZI), které jsem se však částečně věnoval už na bakaláři.

Co mě baví / zajímá

Související s IT

Počítače a další technika
Videohry (a jejich vývoj)
Generativní AI
Virtuální realita
3D tisk
Python
Blender

Zbytek

Architektura a urbanismus
Některé oblasti z fyziky a astronomie
Příroda a turistika
Elektronická hudba a rap
Sci-fi

Nápad(y)

Mým prvním a zatím jediným nápadem je implementace interaktivního promítání na budovy, které by využívalo generativní umělou inteligenci. Kdokoliv z veřejnosti by u takového promítání mohl zadat textový vstup, podle kterého by byla budova po pár sekundách stylizována prostřednictvím promítačky.

Při implementaci mohu těžit ze zkušeností z mé bakalářské práce, což mi usnadní vývoj.

Detaily k implementaci

K zhotovení by víceméně stačilo mít fotoaparát, počítač a projektor.

Nejprve se vyfotí fotka. Ta se následně pomocí technologií jako je např. MiDaS převede na hloubkovou mapu. S pomocí této hloubkové mapy a textového popisku se vygeneruje obrázek, který se nášledně promítne na budovu. Pro samotné generování je možné využít například Stable Diffusion s rozšířením ControlNet.

Z praktických důvodů by bylo taktéž vhodné implementovat LLM jako mezivrstu pro uživatelský vstup. LLM by pak přepisovalo přirozený text v čestině či jakýkoliv jinak nevhodný vstup do vhodného formátu pro generativní AI.

Další výzvou by byl upscaling rozlišení na vhodné pro velkoformátovou projekci a také případná transformace obrázků tak, aby následná projekce přesně lícovala s budovou.

V případě přebytečného času by možná šlo i výsledek nějak rozpohybovat či nějak jinak ozvláštnit, ale to zatím neplánuji.

Výhodou takové implementace by pak byla možnost ji využít jednoduše na více různých budovách, jelikož by celý proces byl víceméně automatický.

Proof of concept

Níže je ukázka, jak by mohl vypadat výsledek pro budovu FA a FIT ČVUT.

Původní fotografie budovy FIT ČVUT — Původní fotografie

Hloubková mapa budovy FIT ČVUT — Vygenerovaná hloubková mapa

Obrázky vygenerované pomocí různých promptů

Vygenerovaný obrázek budovy ve stylu cyberpunku

Vygenerovaný obrázek budovy ve stylu fantasy

Vygenerovaný obrázek budovy jako potemnělá malba

Prompt: "cyberpunk building, gloomy, night, rain, red"

Prompt: "historical building, medieval castle"

Prompt: "large building, drawing, gloomy"

Kontakt

Email: sakalaondrej@gmail.com