Skyglass app använder iPhones LiDAR-sensor för virtuell produktion i realtid. Låt oss gå in på muttrarna och skruvarna i detta nya filmskapande.
NAB är så stort att man ibland kan upptäcka enmansbandsföretag som har lyckats få en monter för nästan inga pengar i sista minuten, och ibland är de mest intressanta. Det största problemet är att hitta dem i de grottiga salarna i detta enorma evenemang.
I år, den första NAB på tre år, deltog mer än 900 företag, inklusive cirka 160 nybörjare. Om du aldrig har varit på NAB, finns det hallar – som till exempel Norra hallen – som är genuint enorma.
Företag som Blackmagic Design och Adobe finns i den här hallen, kallad Create inom NAB:s nya sätt att effektivisera ämnen. Det finns också hallar som är kategoriserade som Kapitalisera , Anslut och Intelligent innehåll .
De större båsen är viktade mot hallens framsida och inte mot parkeringarna bakom. Detta innebär att när man går mot baksidan börjar båsen tunnas ut och börjar bli mycket mindre. Det är här du kan upptäcka spännande, om än nystartad, teknik.
Ryan Burgoynes Skyglass är en av dessa. Ryan brukade arbeta för Apple. Han arbetade där i sex år som senior ingenjör i teamet som byggde Reality Composer, ett verktyg för att göra det enkelt för utvecklare att bygga AR-appar.
Han grundade Skyglass i november 2021 för att göra virtuella produktionstekniker tillgängliga för oberoende filmskapare och små studior.
Vad är Skyglass?
Ryans idé var att utveckla en app och en molnrenderingstjänst som skulle tilltala innehållsskapare som inte hade råd med en virtuell uppsättning, eller dyra kameror och deras spårning. Han ville använda LiDAR-sensorn som introducerades till iPhone från iPhone 12.
Han beskriver sin vision,
Hans idé var att använda LiDAR, som mäter ljusets resa till och från ett objekt och placerar objektet virtuellt. Hans app skulle sedan ta data från LiDAR och skicka den till molnet, där Unreal Engine skulle återge den med kamerans perspektiv som tillåts av LiDAR. Den renderingen strömmas sedan till telefonen för sammansättning i realtid med livefilmer.
Skyglass spårar faktiskt positionen och orienteringen för din telefons kamera och strömmar den till molnet, där en rendering av en virtuell miljö skapas och skickas tillbaka.
Vad behöver du?
Skyglass säger att allt du behöver för att komma igång med realtids VFX är en iPhone som kör Skyglass-appen och en internetanslutning (en nedladdningshastighet på minst 10 Mbps rekommenderas). Skyglass kräver LiDAR-skannern som är tillgänglig på iPhone 12 Pro, 12 Pro Max, 13 Pro eller 13 Pro Max.
Skyglass innehåller ett bibliotek med virtuella miljöer att välja mellan för att bredda tjänsten. Du kan till och med skapa din virtuella miljö genom att skapa ett Asset Pack och ladda upp det till Skyglass Cloud eller Skyglass Server.
Skyglass har sin egen Unreal Engine-plugin som heter Forge så att du kan skapa ett Asset Pack, eller så kan du importera 3D-modeller som du har gjort eller använda Unreal Asset Marketplace.
Om du vill finjustera din komposit kan du ladda ner bara bakgrundsplattorna från Skyglass Cloud eller Skyglass Server och dina gröna skärmbilder från din iPhone och importera dem till redigerare som Nuke, Fusion, After Effects, etc.
Använda andra kameror
Det finns sätt att använda bättre kameror än nyligen lanserade iPhones för Skyglass. Men detta innebär kalibrering av offset mellan iPhone och filmkamerasensorer, till exempel via ett NDI-nätverk. Det verkar ganska komplicerat men tillåter rendering av fokus, iris och zoommetadata för inbyggda linser för att matcha dina tagna bilder.
Förhoppningsvis kan vi ta reda på mer om Skyglass från Ryan och prova appen själva. Om du är på NAB, hitta honom i Norra hallen på monter 1138 eller kolla hans hemsida på www.skyglass.com/.