Med Stereoscopy's död, är hologram vägen framåt till sann 3D? Om så är fallet, hur kan du engagera dig? Låt oss ta reda på det.
De som förkunnar att tredimensionell och djupbaserad video är rörelsens framtid har ofta egna intressen. Men de kan ha rätt, eftersom effektivare komprimeringstekniker och snabbare pipelines som 5G förbereder marken för datatung 360˚video. På sätt och vis är hologram en naturlig utveckling.
Volumetriken skiljer sig också från rörelse- eller prestationsfångst, även om båda teknikerna ofta fungerar tillsammans och förlitar sig på djupmätningar.
Enkelt uttryckt är MoCap en fångst av rörelse med sensorer som bärs i en kostym. Volumetric fångar allt inom ett fysiskt område och producerar 3D-information genom vad som kallas ett punktmoln eller 3D-polygonnät. Data från båda skickas sedan till VFX-studios för att manipulera och rendera.
Det finns dock några logistiska nackdelar. Datahastigheterna fördubblades åtminstone med den gamla stereoskopin (två kanaler). Högre bildhastighetsfilm – där du ibland filmade i 3D – innebar ännu mer data och effektivare lagringsplaner.
Volumetrisk video handlar om nedsänkning, och som kräver flera inspelningspunkter – vanligtvis används över 100 kameror, infraröd och RGB för att skapa en volym.
Som ett resultat kan volymetrisk videoinspelning samla in cirka 16 GB data en minut innan någonting redigeras.
Where Volumetric Video Wins
Som nämndes i vår introduktion till hologram är underhållningsindustrins distribution av denna nya form av 3D ännu inte upprätthållen. Produkthologram kommer att bli enorma, särskilt för smartphones och andra bärbara enheter.
Till exempel, 2017, presenterade Barbie en holografisk robotdocka som svarar på röstkommandon. Samma år gjorde Verizon och Korea Telecom det första holografiska samtalet med 5G-teknik. För att göra samtalet möjligt bildades två hologram. Men många industrier förstår behovet av sensorer som speglar djupet; det är som den saknade ingrediensen, vilket gör dem mer intelligenta och mer användbara för människor.
Men i medievärlden lovar volymetri också att öka effektiviteten i postproduktionskanalerna genom att förenkla processen att fånga och animera. En skådespelares likhet, autentiska prestation och garderob kan alla fångas inom samma process. Infångad data kan användas för både Previs och högupplösta leveranser. Fångad prestanda kan också användas i realtidsmotorer som Unreal och Unity.
Arcturus, en tillverkare av programvara för redigering och kodning av hologram, har jämfört kostnaderna mellan volymetrisk infångning och mer traditionell VFX CG-produktion. Deras forskning jämför kostnader, tid och personalnivåer mellan VFX-produktion och volymetrisk videoproduktion.
Till exempel:För att skapa karaktärer, att använda traditionell CG kan ta mellan 10 och 60 dagar för de större filmerna. Volumetriska videor kan skapa mänskliga tillgångar på mindre än 24 timmar. Kostnaderna för CG kan vara upp till 70 000 USD, medan volymetrisk video för samma operation kan vara 15 000 USD.
Lagstorlekarna är också olika, med 10-20 CG-artister som arbetar på samma tillgångar, medan volymetrisk videoinspelning bara skulle ta 2-3 personer att producera tillgångar. Det leder till processen, som för CG vanligtvis är lång eftersom den är manuell, medan volymetri i huvudsak är en automatiserad övning.
Hur man börjar med volumetrisk video
Du kanske redan har upplevt någon volymetrisk video utan att ens veta det. För oss som var och är XBOX-spelare tog Microsoft 2010 fram ett tillbehör som heter Kinect. Tanken är att dina gester eller kroppsrörelser skulle befria dig från en fysisk kontrollant. Kamerasensorerna, inklusive infraröda detektorer, producerade ett grundläggande djuppunktmoln som representerar ett 20-punktsskelett.
Det var revolutionerande vid den tiden, men verkade aldrig ha nått, och användningen av den övergavs för spel av Microsoft 2017.
Men tekniken säljs nu som en del av Azure Kinect DK, som använder djupavkännande teknik för olika branscher som hälsa, tillverkning och detaljhandel. Deras utvecklingskit är tillgängligt för cirka $400 och erbjuder en 1MP djupkamera, 360˚ mikrofonmatris, 12MP RGB-kamera och orienteringssensor.
När mätning av djup blir mer kritisk för alla sensorer kommer det att finnas tusentals användningsfall, vilket är dit Microsoft är på väg med den här produkten.
Ett exempel eller användningsfall är ett biluthyrningsföretag i USA som använder djupkameror för att skanna återkommande bilar för att kontrollera eventuella kroppsskador. Fordonen skannas när de returneras och djupinformation visar eventuella missbildningar eller bucklor. Denna snabba, automatiska process behöver inte ta hyresgästens ord för ytterligare stötar när den hyrs.
Företag som EF EVE kan ta utdata från flera Azure Kinects och producera volymetrisk video. Det är en ny tjänstebransch för företag som är nya inom volymetrisk video och har inte budgeten för ett stort antal kameravolymer.
Andra kameror som RealSense från Intel servar också det växande behovet av djupsensorer. Användningsfall är allt från robotteknik till ansiktsauktorisering. De förbereder sig till och med för interaktion mellan robotar och människor med hjälp av skelettrörelser och gester. "People tracking" tittar på mer allmänna användningsfall som publikövervakning och analys.
Om du vill börja experimentera med volymetrisk video måste du ha någon djupsensor, men inte lika viktigt som Kinect var. Allmänheten kände inte riktigt till LiDAR förrän Apple bestämde sig för att sätta en sensor i sina iPhones från de tolv modellerna och framåt.
LiDAR är en laserskanningsmetod som används för att mäta och registrera landskap eller byggnader för att skapa 3D-skanningar och djupkartor.
LiDAR producerar 3D-punktmoln, som står för varje punkt i rymden i en scen eller ett objekt. Om du jämför LiDARs pixlar med 2D-pixlar, lägger djupsensorn till Z-djupinformationen till X- och Y-koordinaterna.
Företag som Depthkit erbjuder programvara som hjälper dig att fånga din LiDAR iPhone eller till och med en bättre kamera med en separat djupsensor.
Här är en informativ handledning om hur du gör det. Nedanför den här videon finns några exempel från Depthkits kunder.
Fånga prestanda genom sensorer som bärs på kroppen, 360˚-kameror ger dig en känsla av djup men verkar nu lite gammaldags.
Det finns dock andra sätt att skapa djup för dina projekt, som till exempel fotogrammetri. Flera bilder av ett motiv tas från olika vinklar och sys ihop med beräkningsalgoritmer för att generera 3D-modeller.
Lightfield-kameror använder också mikrolinser för att sedan manipulera allt från fokuspunkter till belysning.
The Future of Volumetrics
Många av oss är glada att titta på eller skapa i 2D. Stereofilmning lyckades aldrig riktigt, och det fanns goda skäl till varför. Kanske är vi okej med den platta videon vi har haft i 100 år. Men det faktum att volymetrisk video inte är beroende av underhållningsindustrin för dess framgång kommer att ge den kreativa industrin tid att anpassa sig.
När vi ser mer av vad virtuell produktion kan producera, särskilt med spelmotorer, kommer dessa nya typer av hologram att ansluta sig till den virtuella revolutionen.
Kanske vänta i kulisserna tills de är redo.