Integrera 3D-modeller i videofilmer:Expertkameraspårning med PFTrack – Del I

Utforska de mest effektiva teknikerna för att sömlöst blanda 3D-modeller i live-action-filmer.

I samtida filmskapande renderas varelser, alver och superhjältar ofta i 3D och komponeras till verkliga bilder. Framgången för sådana bilder beror på noggrant efterproduktionsarbete som matchar färg, ljus och kamerarörelser.

Postproduktion är bara den sista länken i en kedja av steg som gör projektet till framgång:

1. Detaljerad videoklippsanalys, inklusive mikroaktivitetsuppdelning. Importerade klipp kan få färgkorrigering eller linsförvrängningskalibrering innan spårning.
2. Exportera klippet till en dedikerad spårningsapplikation. I den här serien fokuserar vi på PFTrack av The Pixel Farm.
3. Bygga slutscenen i ett 3D-paket som Maya, informerad av PFTrack-data.

På bilden ovan fångade filmskaparna en riktig sekvens och komponerade den över en digital bakgrund. En blå skärm användes, men de framträdande röda kryssen representerar spårningsmarkörer.

Vilken roll spelar dessa markörer?

Varför använda spårningsmarkörer?

Spårningsmarkörer fungerar som referenspunkter för den fysiska kameran under fotografering. Även om statiska scener kanske inte kräver dem, blir de viktiga för bilder som involverar kamerarörelser.

Målet är att spela in den verkliga kamerans rörelse och överföra den till en virtuell kamera – vad branschen kallar kameraspårning eller match-rörelse.

Kameraspårning är avgörande i två primära scenarier:

• Riktiga skådespelare på inspelningsplatsen med en CGI-bakgrund, som i Life of Pi-exemplet.
• Verkliga miljöer med digital rekvisita som lagts till i efterproduktion.

Utan korrekt kameraspårning skulle integrering av live-action-filmer med 3D-renderingar ge uppenbara missmatchningar.

PFTrack för kameraspårning

Även om många NLE, som After Effects, inkluderar grundläggande spårningsverktyg, är PFTrack en dedikerad lösning som används allmänt i professionella VFX-pipelines.

Nedan är en ögonblicksbild av PFTrack efter att ha laddat en scen.

PFTracks nodbaserade arbetsflöde håller pipelinen organiserad. Den vänstra panelen visar aktiva noder, i mitten visas bilder och tidslinje, och den nedre panelen visar nodspecifika kontroller.

Ett funktionsrikt verktyg

För en fullständig referens, se PFTracks officiella dokumentation här . Nodpanelen är grupperad i funktionella flikar:

• Spårning
• Löser
• Förvrängning
• Geometri
• Foto
• Z-djup
• Sfärisk
• Stereo
• Exportera
• Verktyg
• Python

Nyckelkategorier:

• Spårning extraherar funktioner från klippet. Användare kan välja automatisk spårning eller manuellt placera anpassade poäng.
• Lösning bygger den virtuella kamerans rörelse från de spårade funktionerna.
• Distorsion korrigerar linsartefakter som förvrängning av cylinder eller nålkudde.
• Geometri låter dig infoga testobjekt för att validera spårningsnoggrannheten.
• Exportera matar ut kameradata till Maya, 3DS Max, After Effects, etc.
• Verktyg inkluderar "Estimate Focal" för att korrigera brännviddsfel och "Orient Scene" för att justera koordinatsystemet.

Första steg

Vi använder ett klipp från Shutterstock-biblioteket här . Importera den till PFTrack som en bildsekvens och starta spårningsprocessen.

PFTracks avancerade algoritmer uppskattar vanligtvis korrekt brännvidd automatiskt. Om du behöver bättre kontroll, Estimate Focal noden kan förfina perspektivet genom att manuellt ange flyktpunkter.

I vissa fall – som bilder tagna ovanifrån – ger PFTrack den nödvändiga informationen genom att tillhandahålla alla tre axlarna (X, Y, Z).

Auto kontra användarspårning

PFTrack erbjuder både Auto och Användarspår noder. Den förra identifierar automatiskt stabila egenskaper; den senare låter dig manuellt placera spårare för kritiska områden.

Riktlinjer för manuell placering:

• Välj områden med hög kontrast (t.ex. mörka pixlar mot ljusa bakgrunder).
• Placera fysiska markörer på uppsättningen där du tänker infoga 3D-element.
• Justera ljusstyrka och kontrast i PFTrack för att göra funktioner mer framträdande.

I vårt exempel lade vi till 12–17 användarspårare längs trottoaren, väggen och andra strategiska platser.

Kameralösning

Med etablerade funktioner, Camera Solver noden uppskattar den virtuella kamerans rörelse. Använd åtgärden "Lös alla" för att utföra beräkningen.

Lösarens utdata använder färgkodning:

• Grönt – framgångsrik projektion.
• Vit – inaktiv projektion för den aktuella bilden.
• Rött – misslyckad projektion (fel> 2px).
• Orange – måttligt fel (1–2 px).

För att förbättra noggrannheten, granska Feldiagram . Trimma toppar med höga fel med trimverktyget, stabilisera medelfelslinjen mot noll.

Om en spårare konsekvent presterar dåligt, inaktivera den på fliken "Spårare" och lös det igen.

För att ställa in ett nytt ursprung, välj en grön spårare och klicka sedan på "Ange ursprung" i Camera Solver nod.

Orientera scenen

Med ett pålitligt ursprung, Orient Scene noden justerar 3D-rutnätet för att matcha den verkliga världen.

Välj tre exakta spårare på en plan yta (t.ex. trottoar) och ställ in dem på X-Z-planet. Justera gallrets vertikala orientering så att det ligger jämnt med ytan.

Testa objekt

När rutnätet är korrekt orienterat importerar du enkla 3D-modeller med Testobjektet nod för att validera spårningskvalitet.

För exakt placering, fäst objekt till de beräknade 3D-punkterna. När du hanterar olika höjder – som en tröskel – lägg till spårare på hörnpunkter, bygg en grov parallellepiped och placera objektet på dess ovansida.

Spela upp hela sekvensen för att bekräfta konsistensen. Denna testfas utesluter ljus, texturer eller skuggor, och fokuserar enbart på positionsnoggrannhet.

Från PFTrack till Maya

Det sista steget i PFTrack är export. Använd Exportera nod för att generera kamera- och scendata i ett format som är kompatibelt med ditt 3-D-paket. För den här handledningen exporterar vi till Autodesk Maya.

När du öppnar den exporterade scenen i Maya är kameraanimationen redan gräddad och dina 3D-objekt bibehåller sina positioner i förhållande till live-action-filmerna.

Vid det här laget är du redo att applicera texturer, ljussättning och rendera din scen för slutlig sammansättning.

Detta avslutar DelI av vår serie. Du vet nu hur du använder kameraspårning för att integrera 3D-nät i riktiga bilder.

I nästa omgång kommer vi att täcka:

• Animera 3D-objekt i ett videoklipp.
• Realistisk 3D-ljus- och renderingsteknik.
• Tips för att uppnå sömlös integrering mellan 3D- och live-action-filmer.

Om du gillade den här artikeln, följ mig på LinkedIn för fler insikter.

Ny på att skapa 3D-tillgångar? Kolla in dessa relaterade artiklar:

• Skapa ett ACES-arbetsflöde för realistisk belysning med 3D
• Förbättra renderingskvaliteten med lagerkomposition i After Effects
• Från Call of Duty Fan-redigeringar till musikvideor för Russ:An Interview with 3D Artist Vollut
• Lås upp kraften i 3-D i After Effects med Helium
• Hur man skapar riktig 3D-terräng i Blender (utan plugins)