Avancerad 3D-objektspårning med PFTrack:Del 2

Låt oss fortsätta där vi slutade! Den här gången kommer vi att visa några förbättringar i 3D-integreringen och komplettera vårt anpassade videoklipp.

I vår tidigare artikel i denna tvådelade serie visade vi några utmärkta funktioner i PFTrack. Den här programvaran löser inte bara riktiga kamerarörelser, utan den utför också 3D-objektspårning.

I första steget kom vi ut med ett kort klipp av mig själv över en grön skärm. För det andra introducerade vi en 3D-mask som måste följa min huvudrörelse mest exakt. Så långt har det gått bra!

Genom att spela denna korta sekvens märker vi hur vi matchade 3D-masken till huvudrotationen.

Det återstår dock en del arbete med masken eftersom till exempel snören inte har en ordentlig form runt huvudet. På samma sätt vill vi förbereda klippet för den slutliga renderingen, men skottet behöver några ytterligare element för ett effektivt resultat.

I ett nötskal behöver vi fortfarande ytterligare justeringar och integrationer för att producera 3D-arbete av hög kvalitet. Det vi just har sett är resultatet av objektspårningen.

Det slutliga resultatet blir ungefär så här:

Det finns många aktiviteter att genomföra innan man börjar med det här slutliga resultatet.

Detta är checklistan:

• Lösa spetspositioner
• Skapa matta geometrier
• Skugga matta geometrier
• Bygga ett skuggningsnätverk för masken
• Belysning och rendering
• Ta bort grön skärm
• Komposition, färgkorrigering och slutlig export

Låt oss gå in i 3D-programvaran och börja vår resa!

Spela bilden i en 3D-programvara

Efter exporten från PFTrack spelas bilden i vår föredragna 3D-programvara som förväntat. Ändå står vi inför två viktiga viktiga frågor.

Sidosnörena omsluter inte huvudet tillräckligt i några ramar. Ännu värre är de synliga genom maskhålet, eftersom det inte finns någon 3D-geometri som maskerar baksidan av scenen.

Låt oss ta oss igenom dessa huvudproblem och hitta en korrekt lösning.

Lösa spetspositionen

Ärligt talat kan det här steget ta ett tag att få ett anständigt resultat. Masken har tre snören - en upptill och två på sidorna. De måste matcha huvudprofilen exakt.

I allmänhet finns det inget specifikt verktyg att använda, men som en tumregel är det vanligt att använda mindre destruktiva tekniker. Kom ihåg att iterera över klämman upprepade gånger och kontrollera att skosnörena är perfekta för varje ram.

Om du har andra alternativ, undvik att använda direkt vertexmanipulation för att omforma snören. Det kan fungera vid vissa tillfällen – som att flytta små delar av nätet – men här måste vi göra stora förändringar. Beroende på vilken programvara som används bör du dra fördel av modifierare som inte orsakar varken sträckningseffekter eller konstiga deformationer totalt sett.

I Maya, till exempel, fann jag att gallerverktyget var en bra lösning. Det skapar helt enkelt ett anpassningsbart antal kontrollhörn – aka gitterpunkter – runt geometrin, som var och en styr en specifik del av nätet. Följaktligen ändrar du formen på spetsen genom att flytta gitterpunkter i 3D-rymden. På så sätt är det lätt att manipulera modellen utan att orsaka konstiga deformationer.

Jämna ut geometrin genom att använda några skulpteringsverktyg. Trots att du använder en deformerare som ett galler, kan du introducera några små stretcheffekter ändå. För att undvika det erbjuder Maya en serie skulpteringsverktyg.
För mig är den släta , slappna av och greppa verktyg gör sitt jobb!

Maskning av dolda delar

Om du funderar på att rendera ut med masken och snören, förbereder du din scen felaktigt!
Om det är sant att masken döljer en betydande del av huvudet, ser vi fortfarande en del av snören genom hålen, tyvärr. Så, hur kan vi dölja det som måste döljas enligt kamerans synvinkel?

Svaret är relativt enkelt. Vi måste lägga till några extra maskor som fungerar som matta geometrier.

Enkelt uttryckt är allt bakom en matt geometri, ur det nuvarande perspektivet, osynligt och inte återgivet. Eftersom spetsarna dyker upp genom hålen, duplicera en del av Jasons maskgeometri men kom ihåg att fylla de små hålen. Efteråt, placera den precis bakom den ursprungliga masken.

Om det kanske låter lite komplicerat, låt oss göra det enklare genom självförklarande bilder.

Medan karaktären roterar, återges inte snören som förväntat. Särskilt, från sidovyn, observerar vi spetsen på motsatt sida – den bör blockeras av ett falskt 3D-huvud.

Låt oss nu bygga en grov 3D-huvudform som beter sig som matt geometri.

Kom ihåg att inte lägga mycket tid på att förfina utseendet på dessa geometrier. Det enda kravet är att approximera huvudformen så gott du kan.

Vi är nästan klara med inställningen, men vi måste fortfarande tilldela en korrekt shader till de geometrierna.
Som du säkert har märkt använder vi i stor utsträckning termen "matt" när vi diskuterar dessa maskor.

Här kallas termen vanligtvis för en mask – inte att förväxla med vår Jasons mask – eftersom den hindrar programvaran från att återge vad som finns bakom masken enligt den aktuella ramen.

Låt oss ta en snabb titt på skuggegenskaperna.

Skuggningsegenskaper på de ytterligare geometrierna

Det spelar ingen roll om du använder Maya, 3ds Max eller så vidare när du arbetar med skuggning. Det räcker för att förstå hur man använder rätt inställningar.

I vårt fall använder vi Arnold som renderare. Om du är mer van vid att använda ett annat verktyg, fortsätt!

Arnold erbjuder en multifunktionell ytskuggare som kallas "aiStandardSurface." Markera "Aktivera Matt" i avsnittet "Matt", där du också har två enkla alternativ:

• Matt färg
• Matt opacitet

Den förra satte upp en färg — rent svart i vårt fall. Det senare har en inverkan på alfakanalen .

Sammanfattningsvis bygger vi ordentlig maskering ur kamerans synvinkel, men utan att skymma originalbilden.

Till exempel, eftersom den bakre spetsen syns genom Jasons mask vid en specifik ram, måste vi tilldela de olika geometrierna en svart matt färg och ställa in Matt Opacitet till 0. Den svarta färgen kommer att dölja den bakre spetsen vid rendering, medan alfakanalen låter ögonen på originalfilmen dyka upp igen där de borde vara!

Låt oss se ett visuellt exempel.

Matte Opaciteten inställd på 0 skapar en alfa där hålen har en svart färg. Det garanterar att originalfilmen kommer att synas genom hålen.

Om vi hade ställt in Matte Opacity till 1, skulle alfakanalen ha varit helt vit, vilket innebär att det skulle ha varit omöjligt att slå samman originalfilmen i efterproduktion.

Tänk därför på den tidigare enkla installationen som fungerar nästan hela tiden. Du måste integrera 3D-modeller med videoklipp.

Ett enkelt skuggnätverk för Jasons mask

Nuförtiden innehåller nästan alla 3D-tillgångar en riktig uppsättning PBR-texturer .

För att fräscha upp dina idéer står PBR för "Physically Based Rendering", en trend inom CGI som syftar till att förbättra hur ljus interagerar med 3D-objekt. Det betyder bättre material, exakt skuggning och så vidare.

Som sagt, Jasons mask har en uppsättning PBR-texturer som är:

• Albedo-kartan, som bara innehåller färginformationen
• Ojämnhetskartan indikerar var ytan visar suddiga eller skarpa reflektioner
• Metalness-kartan används för att indikera metalldelar av nätet.
• den normala kartan lagrar normalerna vid ytan för att simulera falska detaljer som stötar, springor, ojämnheter, etc...

Att arbeta med de tidigare texturerna innebär att använda ett arbetsflöde för metall/råhet.

Albedokartan representeras av lite smuts. Vi ändrade grovhetsvärdena för att få en suddig och ytlig reflektion. Metalligheten har bara en inverkan på metallknapparna, medan den normala kartan främst påverkar snören, och det kommer att synas i vår slutliga rendering.

Här är skuggnätverket i Maya med några enkla justeringar av grovheten, metallen och den allmänna maskens färg.

Några överväganden om belysning

I den ursprungliga filmen, som nämnts i del I av den här serien, använde jag två softboxar - en från vänster och en från höger. Vidare var avsikten inte att lägga till några starka ljus över ämnet. Istället fungerade softboxarna som ljuskällor för den gröna skärmen. Faktum är att bakgrundsborttagning vid kompositering är mycket lättare om den gröna bakgrunden är jämnt upplyst.

Som sagt, eftersom den ursprungliga karaktären inte har ett särskilt starkt ljus från en exakt riktning, har vi tillräckligt med utrymme för att anpassa vår Maya-belysning. Jag bestämde mig för att välja ett 2-punktsbelysningssystem.

Jag lade sedan till en mer dramatisk look till masken genom att minska intensiteten på det vänstra områdets ljus.

I nästa renderingstest kan du se känslan av dramatik på grund av kontrasten och mörka färger på tyget. Även ljusförhållandet —key to fill—är tillräckligt hög för att öka spänningen.

Vi kommer att producera en annan rendering i vår sista bild, men med det här experimentet ville jag visa dig hur du kan få ett dramatiskt utseende med bara två ljus och lite kompositering.

Alternativt inbjuder jag dig att testa din Maya-scen med en HDR-bild och ditt ljusschema.

Dags att rendera animeringen

Låt oss rendera ut Jasons mask med hjälp av våra tidigare matta geometrier!

Som ett resultat vill vi att ett oberoende lager i After Effects ska sammansättas över originalfilmen.
Dessutom lade vi till lite dimma från Shutterstock Library.

För tillfället är det du ser i videon nedan det rena resultatet från Maya Arnold renderer —Inga andra korrigeringar har gjorts hittills.

Från föregående rendering kan vi testa opaciteten och närvaron av korrekta renderingsdelar när masken rör sig. Dimman är till exempel synlig genom maskhålen och spetsputsningen fungerar korrekt.

Så långt har det gått bra!

Nu representerar följande bildsekvens den färgkorrigering som tillämpas på masken för att matcha huvudmaterialet med en bakgrundsbild.

Följande effekter har tillämpats för att förbättra integrationen med bakgrundsmiljön, men överväg också att samtidigt matcha maskfärgerna med originalmaterialet.

Även om färgkorrigering är ett inslag i efterproduktion, finns det många sätt att uppnå bra integration.
Jag arbetar vanligtvis med RGB-komponenter separat och arbetar på enstaka kanaler. Alternativt kan en billig och snabb lösning lägga till en nyanseffekt till ett mållager genom att sampla de vita och svarta punkterna från ett annat.

Prova båda lösningarna och utvärdera vilken som fungerar bäst för dig!

Lägga till originalfilmen i After Effects

Innan jag fokuserar på huvudfilmen skulle jag vilja lägga några ord på att ta bort den gröna skärmen från huvudmotivet.

Som ni vet är den gröna färgen chroma key och kan enkelt extraheras av ett plugin i After Effects som heter Keylight —version 1.2, i mitt fall.

Den har flera alternativ, men överlag är det ganska okomplicerat. Inställningen varierar dock från fall till fall. Här är en snabb lista över de primära viktiga stegen att följa.

• Plocka upp färgen från bakgrunden. Välj det renaste och mest enhetliga området på den gröna skärmen
• och justera Skärmförstärkningen och Skärmbalans för att förfina resultatet
• I Kantfärgskorrigering lek med nästan alla parametrar. Detta avsnitt är avgörande när du arbetar på områden nära kanterna. Utan korrekt inställning kommer ditt motiv sannolikt att presentera en tydlig och konstgjord kontur

Ibland Kantfärgsdämpning underavsnitt kan hjälpa. I mitt fall använde jag inte det eftersom jag redan hade fått en bra och utmärkt med de tidigare alternativen.

Jag hittade Lumetri Color Effect särskilt användbar. Det tillåter att spela med högdagrar, skuggor, vita, svarta och så föregående fall; det hjälpte mig att dämpa den speglande reflektionen på min jacka samtidigt som jag satte upp en riktig färgmatchning med bakgrunden.

På den sista bilden kan du uppskatta den fina övergången av jackan mot bakgrunden.

Låt oss lägga till masken igen

Bakgrunden, masken och originalfilmen fungerar bra tillsammans. Om du observerar den slutliga kompositionen igen kommer du att märka hur viktigt det är att lägga tid på detaljer.

rensningen av maskanimeringen är en av de första uppgifterna att överväga under de första stegen av hela processen. När du väl har animationen är inte PFTrack kan du stöta på några ramar som ska poleras.

I mitt fall hade jag lyckligtvis små eller inga problem eftersom geometrispårningen fungerade bra från första början – och det var därför vi inte pratade om det.

Kom bara ihåg att kontrollera animeringen bildruta för bildruta och, i fall, använd en redigerare i din 3D-programvara för att förfina resultatet.

Överväg dessutom att arbeta med detaljer som spetspositionen, som måste matcha huvudrörelsen under klippet.

Här är några ramar från videon som visar spetspositionen. Jag använde en annan LUT för att lägga till mer kontrast.

om du märker att spetspositionen behöver justeras i några få ramar, kan du kontinuerligt kontinuerligt i efterproduktion och lägga till en välgörande effekt som kallas Mesh Warp. Den skapar ett rutnät där varje punkt styr ett visst filmområde – liknande Lattice Deformer som vi använde i 3D-programvaran.

Eftersom det rekommenderas att använda det för mindre justeringar, säkerställ en nästan perfekt och solid animering från 3D-programvaran.

Slutliga .överväganden

Jag hoppas att du har lärt dig mycket av den här tvådelade serien och nu förstår arbetsflödet som involverar att integrera element i anpassade filmer.

Här är ett nytt exporterat klipp med mer kontrast och en annan LUT.

Vi använde en mask som täckte ansiktet, så de ursprungliga svarta markörerna är nästan alla täckta, även om några visas i klippet men inte distraherar tittaren alls och fungerar bra i den sista bilden.

Om markörerna hade varit så synliga på huden – inte vårt fall – kunde du ha använt Innehållsmedveten fyllning i After Effects för att ta bort dem från den ursprungliga kompositionen.

Med den funktionen kan du spåra en mask runt varje svart markering, och After Effects hittar det bästa samplingsområdet att ersätta.

Om du tycker att artikeln är intressant, inbjuder jag dig att följa mig på min Linkedin-sida för fler nyheter framöver.