O projektu / Digitální model

Náročnost digitalizace Langweilova modelu


Ing., Bc. Jan Buriánek při focení modelu

Magistrát hlavního města Praha vypsal spolu s Muzeem hlavního města Prahy veřejnou soutěž na základě které se digitalizace modelu ujala firma Visual Connection, a.s. Tato společnost se zkušenostmi na poli dodávky moderních technologií zpracování obrazu a dodávky komplexních řešení na poli profesionálního audia a videa se postavila k problému s přirozenou odvahou. Pro řešení tak náročného problému jako je digitalizace Langweilova modelu přizvala ke spolupráci špičky v oborech inteligentní robotika, počítačové vidění a počítačová grafika. Výsledný tým zdolával mimořádně náročný úkol, který oplýval mnohými unikátními omezeními, které jsou ojedinělá dokonce světově.


Textury na budovách obsahují
tenké struktury kreslené tuší,
které přesahují přesnosti
stovek linek na milimetr

Náročnost digitalizace spočívala v mnoha faktorech. První z nich byla skutečnost, že model je z papíru a ze dřeva, tudíž velmi křehký. Metoda digitalizace musela být bezkontaktní, čistě na optických principech. Modelu nebylo možné se jakkoliv dotýkat, hrozilo nevratné poškození. Další překážkou plynoucí z použitého materiálu bylo omezení světelných podmínek, za kterých bylo snímání možné provádět. Exponát je stále umístěn pod tónované sklo ochranné vitríny mj. proto, že veškeré infračervené nebo ultrafialové záření papírový model a jeho kresbu poškozují. Při optickém měření modelu bylo tedy třeba použít speciálně upravená záblesková světla, která omezují světlo v infračerveném a ultrafialovém spektru. Byl použit speciální kruhový koaxiální blesk opatřený příslušným filtrem, který byl řízený zábleskovým agregátem s upraveným výkonem. Navíc nebylo žádoucí, aby model byl vystavován dlouhodobému osvětlení, tj. existoval i limit na celkovou dobu expozice modelu udávaný v množství lux-hodin. V neposlední řadě bylo obrovskou komplikací samotná detailnost a proporce modelu. Textury na budovách obsahují tenké struktury kreslené tuší, které přesahují přesnosti stovek linek na milimetr (naměřené detaily odpovídaly přibližně 1200 DPI). Zadavatel naštěstí požadovanou přesnost na digitalizaci omezil na únosné míry. Model obsahuje přes 2000 „domů“, které mají převážně výšku 3 až 6 cm, ale obsahují samozřejmě různé dominanty (věžičky, sloupy apod.), které jsou okolo 20 cm výšky.


Příklad půdorysu jednoho z dílu modelu
(Malostranské náměstí)

Dělení Langweilova modelu na 52 dílů
Samotný model byl vytvářen po dílech. Celý model je rozdělen na 52 samostatných dílů. Při digitalizaci tedy bylo možné zpracovávat každý díl zvlášť.

Boroskop
Boroskop

Bc. Tomáš Petrů při snímání boroskopem

Výstup z boroskopu
Detailnost a geografická věrnost modelu tehdejší skutečné Praze vedla autora k zachování i těch nejmenších uliček a zákoutí.
Některé části modelu tak obsahují dvou až čtyřmilimetrové uličky, kam prakticky nebylo možné dostat ani světlo ani snímací zařízení. Pokud to model proporčně umožnil, tak se pro snímání vybraných detailů modelu používal průmyslový boroskop (alternativa k lékařskému laparoskopu).


Příklad výstupu DOF image-fuse, zleva doprava:
zdrojové snímky s různou rovinou zaostření,
výsledný spojený „proostřený“ snímek.

Proporce modelu vyžadovali použití snímací techniky na úrovni makro-fotografie, tj. hloubka ostrosti snímaného pole byla velmi malá (řádově pár centimetrů) a bylo třeba snímat mnoho snímků jedné scény, aby bylo možné snímky dodatečně proostřit na úrovni digitálního zpracování. Příklad výstupu z procesu slučování obrazů s různou hloubkou proostření (DOF image-fuse) je na obrázcích. Cílem celého procesu však nebylo jen snímání, ale hlavně 3D rekonstrukce modelu, což byl mimořádně výpočetně i paměťově náročný proces.

Snímání modelu

Robot
Robot

Vlastní digitalizace modelu probíhala v několika fázích. V první fázi došlo k měření obrazového pole. Jedná se o vytvoření redundantní struktury kalibrovaných snímků podobně jako je tomu u konceptu Lumigraph. Tento proces je v principech shodný s fotografickým procesem, ale výsledek i cíl je zásadně odlišný od „obyčejného“ fotografování. Prakticky byl pro projekt vytvořen speciální snímací robot. Tento robot byl pro projekt digitalizace modelu vytvořen „na míru“ projektu a to špičkovými odborníky v oboru. Tento robot měl na starosti polo-automatické snímání každého z 52 dílu modelu a to čistě optickou cestou. Robot obsahoval speciální, velmi přesné zpětnovazební řízení, které mělo celkem pět stupňů volnosti a ve své „ruce“ speciálně uzpůsobený „fotoaparát“ obsahující makro-měchy, makro-optiku, upravené makro-zábleskové zařízení a zejména pak vysoce přesnou snímací stěnu (CCD prvek s přesností 16Mpix a dynamickým rozsahem 13-bitů na kanál).

Uvedený robot snímal model díl po dílu, a to na základě pečlivě připraveného řízení. Cílem bylo nasnímat veškerou geometrii a texturu modelu tak, aby bylo možné ze snímků udělat 3D rekonstrukci povrchu modelu. Pro tento účel snímal robot rychlostí jeden snímek za 4 sekundy a během celého procesu nasnímal téměř čtvrt miliónů snímků v nejvyšší možné kvalitě snímací středo-formátové CCD stěny. Redundance snímků byla dána zejména tím, že každý bod povrchu modelu bylo třeba vidět z co nejvíce úhlů (řízení umožnilo vidět jedno místo až sedmnáctkrát) a textura modelu byla tvořena speciálními nástroji na základě fúze každého ze snímků.
Poměrně mnoho problémů způsobovala nemožnost použití dostatečného výkonu zábleskového světla, tj. makro-zábleskové zařízení musel využívat specializovaných filtrů a výkon záblesku musel být značně omezen (i co do délky).

Počet snímků nutných pro zpracování modelu bohužel narážel i na limity použité technologie. Závěrka specializovaného „aparátu“ měla totiž pouze konečnou životnost a při použitých parametrech došlo k poškození závěrky již po 100 tisících snímcích. Pro projekt bylo tedy třeba celkem třikrát snímací zařízení vyměnit a nahradit novým. I to je daň digitalizace historického modelu v 21. století...

Výstupem snímání se stalo přibližně 250.000 snímků s rozlišením 16 Mpix a přesností 13-bit na kanál, což je pořádná řádka dat pro uložení. Navíc muselo jít o uložení zabezpečené, protože vlastní snímání už nebude možné v nejbližších 15-ti letech opakovat. Celková kapacita ukládaných hrubých dat přesáhla 6 TB. V tomto objemu dat a v tomto počtu souborů se data nejen složitě „skladují“, ale i zálohují. Pro tento případ má naštěstí společnost Visual Connection, a.s. bohaté zkušenosti a má nejedno vlastní řešení pro ukládání těchto objemů dat systematickým způsobem. K organizaci dat významně přispělo dělení modelu na 52 dílů.

Dokumentace modelu


„GIS“ Aplikace Langweilova modelu

Součástí projektu se stala i dokumentace modelu, tj. vytvoření jakéhosi „GISu“ pro model. Podkladem pro zpracování byla však čistě „ručně“ překreslená mapa modelu, který jen přibližně zachycuje všech cca 2000 domků a jejich popis. Půdorysné zpracování vyžadovalo digitalizaci „ručně kresleného“ podkladu a jeho „namapování“ na skutečné provedení snímků modelu.
Tento výsledek ve formě jakési GIS aplikace se stal velmi zajímavý nejen pro historiky, ale i pro současné geodety, protože řada domů uvedených na modelu již neexistuje a detaily podkladů vykazují také značné odchylky. Původní model dělal Langweil podle tzv. Juttnerova plánu z roku 1816, od té doby se však Praha značně vyvinula a tak až Langweilův model zaznamenává geografické rozložení období správně, tj. výstupní „digitální“ mapa bude jakýmsi „GISem“ Prahy z let 1826 až 1834. Do aplikace pro odborníky byla navíc zahrnuta i současná GIS3D podoba Prahy, tj. lze porovnat, jak moc se současná podoba odchyluje od té, kterou zachytil Langweil ve svém modelu.

3D rekonstrukce modelu

Z první etapy snímání modelu vznikly detailně dokumentované snímky, které zachycují model z mnoha úhlů a rovin. Ke každému snímku bylo mj. zaznamenáno, odkud byl robotem díl snímán a z jakého úhlu, při jakých parametrech apod. Z těchto informací bylo možné přistoupit k nejnáročnější etapě digitalizace jakou je 3D rekonstrukce modelu z obrazového pole. Vedle procesu „vyvolání“ a srovnání dynamických vlastností snímků bylo třeba v této fázi matematicky zpřesnit polohy, ze kterých byly snímky pořizovány, následně bylo třeba postupné „fůze“ vrstev s omezenou hloubkou ostrosti (DOF). Celý proces byl procedurální, tj. na základě exaktních matematických postupů, které vycházejí z RAW dat snímání a kdykoliv byl jakýkoliv z uvedených kroků vratný nebo kompletně měnitelný.
Vlastní 3D rekonstrukce modelu probíhal na základě speciálně upravených algoritmů 3D počítačového vidění. Celý proces lze demonstrovat na základě tzv. testovacího papírového modelu .


Vzorový papírový model pro experimenty
(část pražského hradu)

Zpřesněná kalibrace pohledů
snímků na testovací model.

Fyzický model byl snímán z mnoha úhlů (systematicky, pomocí robota) pomocí předem známé kalibrované optické soustavy a v předem známém světelném kalibrovaném prostředí. Následně byly zdrojové snímky upraveny tak, aby došlo ke srovnání intenzit barev a odstranění parazitních jevů optické soustavy (vinětace, soudkovitost, posunutí středu, neproporcionalita bodů apod.). Z tohoto procesu byla výstupem celá sada parametrů kamer pro všechny požadované pohledy na rekonstruovaný objekt.

Tuto část zpracování do značné míry převzal speciální kalibrační nástroj, který byl vyvinut ve spolupráci s firmou Autodesk RealViz a který byl odvozen od aplikace MatchMover (viz. www.visual.cz). Dalším krokem byla extrakce významných bodů (rohů, hran apod.) modelu, ze kterých byl tvořen polygonální model. Tato část se dělila na získání tzv. bodového mračna a získání klíčových bodů pro polygonální rekonstrukci. Bodové mračno bylo založeno na všech významných bodech povrchu modelu a proces byl do značné míry algoritmický a semi-automatický. Pro rekonstrukci klíčových bodů polygonálního modelu bylo však třeba manuálního označování a výběr těchto bodů operátory.
Pro výběr a polygonální rekonstrukci byl vytvořen proprietální software, který zvlášť prováděl označování bodů z horních pohledů a zvlášť z bočních pohledů. Tento software byl vyvíjen ve spolupráci s firmou Autodesk RealViz a základem se stal produkt ImageModeler. Proces manuálního označování polygonů modelu byl velmi zdlouhavý a vyžadoval více než třicet tisíc hodin práce operátorů.
Implementace algoritmů počítačového vidění pro extrakci POI bodů 3D rekonstrukce byl součástí řešení celého projektu.


Příklad významných bodů
pro testovací model

Semi-automatické slučování povrchové geometrie
rekonstruovaných objektů
Jakmile byly k dispozici body zájmů a kalibrace snímků tak bylo možné přistoupit k 3D rekonstrukci a vytváření povrchového modelu. Na základě vypočtených struktur došlo k semi-automatickému slučování povrchového geometrie rekonstruovaných objektů. Následoval proces vytváření textur.
Extrakce textur povrchu modelu byl mimořádně výpočetně náročný úkol, který vyžadoval využití všech dostupných informací z 3D rekonstrukce i původního snímání. Proces vytvoření povrchových textur byl řešen speciálně vyvinutým řešením na míru. Extrakce musela vyřešit nejen zkreslení optické soustavy, ale též částečné zákryty textur, různou hloubku ostrosti a intenzity. Výsledkem se stala komplexní textura vzniklá fůzí mnoha informací a obrazových zdrojů.
Na výslednou geometrickou strukturu byla v posledním kroku mapována extrahovaná textura, která byla pohledově kombinována na základě všech relevantních vstupních snímků daného objektu.

Příklad extrahované
textury testovacího 3D modelu

Příklad extrahované
textury testovacího 3D modelu.

Příklad extrahované
textury testovacího 3D modelu

Výstupem celého procesu byl kompletní polygonální 3D texturovaný model.

Plně rekonstruovaný 3D testovací model.

Plně rekonstruovaný 3D testovací model.

 

Prezentace veřejnosti a vizualizace

Výsledkem snímací a 3D rekonstruční etapy digitalizace modelu byla nejen detailní dokumentace (jakýsi „GIS“ Langweilova modelu), ale i kompletní data pro vytvoření vysoce přesného 3D povrchového urbanistického modelu. Data obsahují téměř vše, co bylo možné systematickým optickým snímáním „zahlédnout“ s ohledem na uvedená omezení dané muzeem. Je zřejmé, že i přes použití té nejsofistikovanější technologie zůstala řada opravdu detailních a úzkých míst modelu, které nebylo možné snímat, protože do těchto míst nebylo „vidět“. Je pravdou, že takovou část nemůže vidět ani běžný návštěvník, ale i tak je to výzva pro další možnou digitalizaci za několik desítek let.

Jeden z výstupů projektu je vytvoření speciálních 3D pracovišť pro prohlížení digitalizovaného modelu určené zejména pro badatele. Odborní pracovníci (historici, geodetiky apod.) již nemusí za každým detailem modelu jezdit přímo do muzea, ale je možné je zkoumat na vybraných pracovištích v elektronické formě. Zobrazení takto detailních geometrických a obrazových dat byl velmi komplexní problém i pro současné hardwarové vybavení. Výsledné pracoviště nakonec využilo těch nejlepších pracovních stanic společnosti HP a problém zobrazení byl překonán pomocí nejmodernějších GPU a CPU. Bez značkových výkonných pracovních stanic se zpracování takto složitého projektu neobešlo.

Vedle aplikace a modelu pro odborníky bylo vytvořeno několik aplikací pro veřejnost. Jednou z nich je CD s interaktivním plně 3D virtuálním průvodcem po Langweilově modelu, který umožňuje volný pohyb uživatele po modelu podobně jako v počítačové hře. Dalším výstupem je CD s dobrodružnou hrou pro děti, která je určena mladším uživatelům a přibližuje digitalizovaný model zábavnou interaktivní formou.

 

Závěrem

Digitalizace Langweilova modelu byl záslužný a chvályhodný počin. Tento projekt byl výjimečný nejen díky předmětu digitalizace, ale též unikátností zpracování a nutností posunout obor digitalizace o další krůček dál, aby mohlo takto zajímavé dílo vzniknout. Není bez zajímavosti, že algoritmy, které jsou „šité na míru“ digitalizaci modelu jsou unikátní a pro obor a celosvětově nové. Zatím nikdo nenarazil na tak komplexní úlohu jakou je bezkontaktní, optická 3D digitalizace rozsáhlého papírového urbanistického modelu starobylé Prahy. Dílo je tam již dnes možné prezentovat v zahraničí a poukázat na výjimečnost tohoto exponátu.

Projekt stojí za pozornost i proto, že došlo k významnému spojení špičkové technologie, znalostí inteligentní robotiky, počítačového vidění, historické komunity, kulturní obce, „města“ a IT odborníků...

Děkujeme všem stovkám lidí, které se na tomto výjimečném projektu podíleli.


Jan Buriánek