Pojetí společnosti Apple na pohlcující video pro Apple Vision Pro je odklon od typických projekcí typu rybí oko a zahrnuje zajímavý zvrat pro náhlavní soupravu s vysokým rozlišením.
Náhlavní soupravy poskytující zážitky VR a AR často uživatelům také nabízejí pohlcující video. Může mít podobu prostorového videa, které poskytuje 3D efekt, ale také 360stupňového videa, které upřednostňuje obklopit diváka obsahem.
Apple také vydal pohlcující videoklipy, jmenovitě 180stupňové 3D video ve vysokém rozlišení, i když v současnosti je poměrně pomalé rozšiřování své obsahové knihovny.
K výrobě těchto videí se často používají fotoaparáty s objektivem typu rybí oko k vytvoření extrémně širokoúhlého záběru, přičemž více videí je spojeno do jednoho videa.
Apple Vision Pro má samozřejmě schopnost prohlížet obsah rybího oka. I když se však používá ke streamování videí Apple TV+, formát je z velké části nezdokumentovaný a třetí strany jej nepoužívají.
Ve výzkumu Mikea Swansona zveřejněného v neděli, pohlcující videoprojekce společnosti Apple pro uživatele používá jiný přístup než konvenčnější formátování rybího oka.
Různá zkreslení
Převést obraz z 2D videa do polokulové nebo sférické projekční mapy, která je viditelná pro uživatele ve středu, není snadné, ale je to věc, která je prakticky vyřešena díky zkreslení.
Typický 180stupňový záběr rybího oka mimo kameru, který zahrnuje vše v záběru, se zobrazí jako kruh s černými úseky v rozích a okrajích kruhu, které odkazují na oblasti bez dostupných vizuálních dat.
Segmentováním videa specifickým způsobem jej lze roztáhnout tak, aby odpovídalo 180stupňovému zornému poli uživatele, a to jak horizontálně, tak vertikálně ve virtuální kouli. Toto je nejjednodušší způsob provedení projekce, ale není to datově efektivní, protože rohové části jsou součástí kódovaného videa, ale ve skutečnosti nejsou použity ve finálním obrazu.
Existuje alternativa, která eliminuje černé úseky, ve formě 180stupňové ekvidaktní projekce. Vytvořeno pomocí úprav, pokřiví obrázek tak, aby vyplnil celý obdélníkový rám.
Při zkreslení pro zobrazení to znamená, že se pro okraje promítací mapy použije více pixelů, což znamená, že uživatelé skutečně uvidí více detailů.
Chcete-li vytvořit stereoskopické video pro každé nebo 360stupňové video, každé 180stupňové zorné pole je často zmenšeno na polovinu dostupného prostoru, což umožňuje zahrnutí obou stran do stejného snímku.
V tomto scénáři, který ztěžuje zachování detailů v každém 180stupňovém pohledu, dává smysl deformovat obraz do rohů, aby se eliminovaly plýtvání pixelů.
Efekty zkreslení reality
Swanson měl zpočátku potíže určit, co Apple změnil ve svém zpracování projekce rybího oka, ale získal některé podrobnosti o tom, co bylo provedeno z monitorování síťového provozu jeho Apple Vision Pro.
Ze samotného monitorování zjistil, že toky byly přibližně 50 Mbps, kódované v HDR10, v rozlišení 4 320 x 4 320 na oko, při 90 snímcích za sekundu. Protože však imerzivní videa byla chráněna DRM, Swanson nemohl prohlížet syrové snímky rybího oka, aniž by je rozbil.
Poté byl upozorněn na úvodní klip Apple TV+ s logem pomocí stejného kódování rybího oka, ale bez DRM. To umožnilo další analýzu formátu rybího oka společnosti Apple.
Pro začátek, namísto použití jednoho snímku videa pro zpracování dvou očí nebo přední a zadní 180stupňové projekce, Apple místo toho kóduje stereo video pomocí MV-HEVC. Ve skutečnosti je každá 180stupňová projekce uložena v samostatné video vrstvě ve video souboru.
Ještě neobvyklejší je, že Apple kóduje svůj obsah rybího oka při otočení o 45 stupňů. Základna „koule“ je umístěna v levém dolním rohu rámu a horní bod je v opačném rohu.
Swanson říká, že tato změna dává smysl, s jedním dobrým důvodem, že úhlopříčka je nejdelší rozměr snímku, a proto může uložit více horizontálních pixelů po otočení než neotočená verze.
Pro diváky je výhodou, že čára horizontu bude mít k dispozici nejvíce pixelů. Vzhledem k tomu, že se zde bude většina lidí dívat při sledování videa, je zachování detailů v této části pro zážitek ze sledování zásadní.
Oblasti s nejmenším počtem pixelů pro práci v projekci se posunou ze středu horní, spodní a boční části normálního rybího oka do „rohových“ sekcí, které jsou možná méně viditelné.
Stále nějaké záhady
Navzdory dodatečným informacím Swanson neprolomil celý proces Applu, přičemž některé prvky mu stále unikají.
Jeden z nich se soustředí na techniku nazývanou Radial Stretching, kde je každý stupeň obrazu roztažen k okraji čtvercového rámečku, čímž se maximalizuje využití celého rámečku pro obraz.
I když se Swanson při zpracování surového snímku Apple rybí oko přiblížil, „není to 100% správné“. Navrhuje se, aby podél úhlopříček byly ve hře některé další logické prvky, aby se snížilo množství požadovaného radiálního roztažení a zkreslení, přičemž Swansonův nejlepší odhad je použití jednoduchých zkosených rohů.
Je také nabídnuto, že Apple by mohl potenciálně kódovat do konkrétní geometrie, aby se přidala zbytečná složitost, což ztěžuje ostatním používat stejný formát.
Swanson stále zůstává s otázkami, proč Apple používá tento typ projekčního formátu. I když Apple může zjistit, že to má více výhod, stále jsou záhadou.
Kódování videa pro Apple Vision Pro je jen jednou z výzev, kterým filmaři čelí. V březnu vedoucí pracovníci společnosti Canon vysvětlili, že žádná z jejích kamer není schopna produkovat video v rozlišení a obnovovací frekvenci, kterou headset vyžaduje.
Pokud se Apple chystá rozšířit, jak zachází s videem ve formátu, může tak učinit během červnové WWDC 2024.
Zdroj: appleinsider.com