Gå bakom kulisserna med PremiumBeat när vi pratar med Jonathan Winbush om hans kryptokonstsamarbete med DJ Mix Master Mike.
PremiumBeat fick nyligen en chans att prata med rörlig grafikkonstnär Jonathan Winbush och gå bakom kulisserna på hans senaste kryptokonstprojekt, som är ett musikvideosamarbete med DJ Mix Master Mike. Projektet heter Mob-recept och involverar allt från helkropps-3D-skanning och motion capture, till att bygga en virtuell uppsättning i Cinema 4D, och sedan prägla allt som en NFT. För att kolla in Mob-recept i sin helhet, besök Jonathans SuperRare-sida.
PremiumBeat: Innan vi dyker in i skapandet av Mob-recept , kan du informera alla om vad projektet är och motivationen till idén?
Jonathan Winbush: Ja, så jag har hållit på med kryptokonst i några månader nu, precis som att få tårna blöta, och jag har gjort många projekt med Mix Master Mike tidigare. Efter att ha pratat med honom om vad jag gjorde i NFT-utrymmet, sa han, "Vi borde faktiskt sätta ihop ett NFT-krypteringsalbum, med ljud och bild tillsammans." Så, vad jag gör just nu är att jag jobbar på den första singeln med Mix Master Mike, vi kommer att lägga den på SuperRare, och den kommer att bli som en trettio till fyrtiofem andra musikvideo med ett av klippen från hans nya album som kommer ut.
PB: Jag är säker på att många människor är intresserade, som rörlig grafikkonstnär, hur fick du kontakt med Mix Master Mike och började göra dessa samarbeten?
JW: Lustigt nog började det redan ungefär 2015-16, när jag började komma in i virtuell verklighet. Jag höll på med mycket forskning och utveckling och pysslade med 360 VR-grejer. Vi hade en gemensam vän vid den tiden, Tony Washington, han gjorde mycket av Mikes illustrationsarbete eftersom Mike kom ut med en serietidning vid den tiden. Tony presenterade oss faktiskt. Mike har alltid tänkt framåt och gillar alltid att pyssla med ny teknik. Och han ville sätta ut en musikvideo, men inget traditionellt. Tony berättade för honom vad jag jobbade med i 360 VR, så det gick liksom bara ihop. Jag skickade honom ett förslag på några saker som jag arbetade med och resten är historia därifrån.
PB: En av bilderna du delade var ett foto av Mike i ett rum fullt av kameror. Jag antar att det är för 3D-skanning. Kan du ge oss lite insikt om det?
JW: Ja, bilden som du pratar om är från det här företaget som heter The Scan Truck. För ett par år sedan kom de på detta koncept. Många gånger när du vill 3D-skanna objekt eller människor måste du gå till en ljudscen som är byggd för det. Och de här killarna byggde faktiskt den där ljudscenen inuti en mobil lastbil. De kallar den "The Scan Truck" eftersom de faktiskt kan ta den överallt. De finns här i södra Kalifornien, men de kan köra den var som helst – om du spelar in en film eller om du arbetar med ett tv-spel.
Skådespelare kommer fram till lastbilen, de kommer att få en fullständig 3D-skanning, så att allt är fotoriktigt. De får en exakt 3D-kopia av vem de än skannar. Sedan tar de den 3D-modellen och använder den för VFX i filmer eller videospel. I vårt fall hjälpte vi dem att testa det och vi var de allra första som gick in där och gjorde lite fotogrammetriarbete. De gav oss en 3D-skanning av Mike och mig själv, och det är mycket som du ser där.
PB: Hur mycket rensning av 3D-modellen krävdes efter skanningen?
JW: Var och en av dessa kameror tar en annan vinkel av Mike och överlappar lite, så att du får så hög upplösning av en bild som möjligt. Jag kommer inte ihåg specifikationerna direkt, men modellen kom tillbaka extremt tung. Så du måste decimera några av polygonerna och jämna ut dem, bara så att det går att använda. Jag gjorde det med Cinema 4D. Och i princip använder jag bara huvudmodellen från hans skanning, eftersom jag faktiskt byggde ut hans kropp som en cybernetisk karaktär.
Hans armar är helt mekaniska och de har sladdar som hänger ut. Jag hämtade lite inspiration från biohackande människor. De kommer faktiskt att ta mikrochips och de kommer att stoppa in dem i huden – de försöker förvandla sig själva till cyborgs och få kroppen att kontrollera olika mekaniska saker och sånt. Så jag tyckte det var coolt för lite inspiration, den enda delen som faktiskt är mänsklig är hans topp, från nacken och uppåt. Så det är fotogrammetridelen som vi använder och resten av hans kropp är helt 3D-modellerad.
PB: Och sedan, för animeringen, antar jag att det är där motion capture-dräkten kommer in i bilden?
JW: Ja, för motion capture använder jag faktiskt Rokoko-dräkten, som är en prisvärd lösning för motion capture för oberoende artister. Jag är säker på att du har sett bakom kulisserna på människor med spandexdräkterna, och de har alla dessa bollar över sig, och de springer runt en ljudscen. Nu, 2021, kan vi faktiskt ha de funktioner som vi bara kan göra i vårt hus.
Rokoko-dräkten kan faktiskt fungera via Wi-Fi eller Bluetooth, och den har alla sensorer i en träningsoverall. Så jag kunde ta med mig min kostym till Mikes studio och han satte på den och han gjorde ett helt uppträdande. På så sätt kunde jag faktiskt fånga all hans essens, alla hans handrörelser och hans kroppsrörelser. Och exportera sedan allt till en FBX-fil, som jag faktiskt kunde ta över och bifoga till en modell.
(Om du vill veta mer om Rokoko motion capture-dräkten som Jonathan använde, kolla in Todds inlägg om Hur man kommer igång med Motion Capture.)
PB: När du har fått rörelserna från dräkten, hur svårt är det att montera dem på 3D-modellen?
JW: Jag gör många tutorials om olika tekniker som jag har kommit på, som att använda motion capture med Adobe Mixamo och Cinema 4D Character Definition. Så jag är typ redan van vid vad jag skulle göra. Och för det här projektet tog jag Mikes motion capture-data, gjorde lite rengöring i Rokoko Studio och exporterade sedan bara från FBX, som jag använder Mixamo för att rigga 3D-modellen.
Om du har en modell och en T-pose kan du faktiskt ladda upp den till Adobe Mixamo. Och sedan ska jag göra en autorigg där den automatiskt sätter ett skelett på modellen. Sedan kan du ta in det i Cinema 4D och bara ställa in skarvarna och allt. Jag har faktiskt en tutorial om det. Processen är ungefär tio till femton minuter, och det är inte så svårt alls.
PB: Vad var inspirationen och processen för att bygga det futuristiska DJ-setet i Cinema 4D?
JW: För just det här projektet ville jag att miljön också skulle ha en historia att berätta tillsammans med Mike. Så jag grävde lite och jag gillade den där Blade Runner typ av miljö — futuristisk, men ändå bekant. Så, den typ av plats som jag placerade honom på var kanske som ett museum vid ett tillfälle, men det har inte varit bebott på hundra år. Så det är lite förfallet. Kanske kom några människor in och de plundrade det, och nu är det en lya för biohackers att gå in och göra sina experiment.
Det har lite bekantskap med sig, men eftersom det är så långt in i framtiden och slitet, har det liksom glömt bort. Jag tänkte att det skulle vara en cool miljö att sätta in den här biokonstruerade Mike i. Ett område som ingen riktigt vet var det är. Så jag återgav åtta olika kameravinklar. Vissa av vinklarna ser ut som övervakningskameror, som att han nästan blir spionerad inuti sin hemliga lya. Jag handlar om framtida teknik, och det är Mike också. Det är därför jag tänkte, "Vi borde göra något riktigt coolt, men inte gå full cyberpunk", för det har liksom spelat ut.
(Vill du veta mer om Cinema 4D? Kolla in PremiumBeats tips för att lära dig Cinema 4D.)
PB: Kan du förklara mer om vad Unreal Engine är och hur det fungerar med Cinema 4D?
JW: För just det här projektet gick jag igenom mentaliteten för hur en spelprogrammerare eller spelutvecklare skulle gå tillväga. Många gånger kallas det de gör "grå boxning". De kommer att bygga ut sin nivå i antingen Maya, eller i mitt fall, Cinema 4D. Och allt är bara geometri - ingen texturering eller något. Du får helt enkelt en layout för hur du vill att dina strukturer ska vara. Jag har den här strukturen byggd inuti Cinema 4D, och därifrån exporterar jag den till Unreal Engine, eftersom jag har många verktyg där, som Megascans-biblioteket, som har många olika texturer och fotogrammetrigeometri. Och sedan har Unreal Engine Marketplace en hel del coola saker också.
Vad jag skulle vilja göra är att ta in rå geometri i Unreal Engine, och därifrån kan jag göra några riktigt fina detaljer. Jag målar vertexblandning där jag faktiskt kan måla på geometrin. Så om jag har en tegelvägg och jag vill måla i lite smula, kan jag bara måla in den. Jag kan också bara dra och släppa tillgångar från Megascans där. Jag gör allt detta i Unreal Engine eftersom det är en spelmotor och de är byggda för att köras i realtid, så det behövs ingen tid för att den ska rendera någonting. Vad du ser är vad du får. Det är den främsta anledningen till att jag använder Unreal Engine, på grund av hur snabb den är och flexibiliteten i den.
PB: Hur är processen när du lanserar ett NFT som Mob Recipe på SuperRare?
JW: Så du måste skapa en .MPEG-fil, och det kommer att vara ett videoformat som du ska ladda upp. Sedan måste du lägga det på blockkedjan och det är där SuperRare kommer in. Min speciella plånbok kallas en MetaMask-plånbok, och det är det som hanterar alla mina Ethereum och sådant. Så jag använder en MetaMask-plånbok för att ta den här biten och tokenisera den till blockkedjan. Därifrån listas den på SuperRare, och det gör att alla som har Ethereum kan lägga ett bud på SuperRare. Sedan, om du har ett bud som du är nöjd med, är det då du accepterar det, och sedan går Ethereum tillbaka till din MetaMask-plånbok, och det är din transaktion.
PB: Du har nämnt en remixversion, hur fungerar en remix med ett projekt som detta?
JW: Ja, så prestandan är exakt densamma, men jag renderade om allt. Och vi kallar det "det röda pillret och det blå pillret", för på originalet hade GUI och UI och allt dessa röda övertoner, och miljön är ganska varm. Så för remixen gjorde jag om allt med ett blått GUI och lamporna kommer att bli lite svalare – det ger dig en helt annan atmosfär. Sedan gick Mike tillbaka och remixade faktiskt hela ljudet. Så ljudet skrapar och allt är detsamma, men han lade till 808 trummor och baslinjen är helt annorlunda, och introt är annorlunda. Så det kommer att bli nästan som ett helt annat spår.
Jonathan skickade också över några av PremiumBeats frågor till DJ Mix Master Mike för att höra om hans erfarenhet av att skapa Mob-recept .
PremiumBeat: Har du någonsin föreställt dig att du skulle uppträda i en motion capture-kostym och hur var det?
Mix Master Mike: Vad kan jag säga? Jag menar, det är som en match made in heaven för den här plattformen. Från VR-världen till den här världen har vi alltid haft möjligheten att låsa upp alla dessa oändliga möjligheter för att vara kreativ inom denna plattform. Med motion capture går allt – himlen är gränsen. Jag kan visa mina repor. Jag skulle kunna visa upp världen vad jag är och hur det är att vara actionartist. Det är vad jag är, en actionartist. Som jag sa, det här är en match made in heaven.
PB: Vad är inspirationen för att kombinera musik med ny teknik, som Virtual Reality och NFT?
MMM: Med den här plattformen, NFT-världen, Virtual Reality-världen, är det som den ultimata plattformen för att faktiskt komma in i känslan av vad musiken handlar om. Den råa känslan, framförandet av låten. Och det är vad som saknas när du lyssnar på gillar saker på Spotify, eller bara musik i allmänhet. Du använder din fantasi. Med den här saken behöver du inte använda din fantasi. Du kan se det och du kunde höra det. Man kunde känna det. Du är helt fördjupad i låten. Det är det fina med dessa plattformar.
PB: Hur har det varit att samarbeta med Jonathan i så många projekt?
MMM: Det fina mellan mig och Jonathans förhållande är att vi gillar samma saker. Vi kommer från en hardcore hiphopbakgrund. Från 80-talet till 90-talet fram till nu. Vi har all den kunskapen och all den visdomen. Så nu använder vi all den kunskapen och visdomen och den erfarenheten och tar med den in i den nya världen och på ett sätt förvandlar millennials till den. Tillsammans förvandlar vi millennials till allt vi gillar. Vi återskapar det som finns i våra huvuden. Allt det här skapas i våra huvuden. Vi pratar om det hela tiden. Det är bara det att nu får världen äntligen se det och uppleva det. Mycket kärlek till Winbush.
Om du vill lära dig mer om Jonathan och Mix Master Mikes projekt, kolla in WINBUSH på YouTube och mixmastermike.com. Kolla också in 360 VR-rundturen av uppsättningen Mob-recept .
Intresserad av de royaltyfria låtarna vi använde för att göra den här videon? Lyssna igen:
- "Hustlin" av Harrison Amer
- "Late Night Latte" av Harrison Amer
- ”Retro Chillhop” av Mattijs Muller
- "Constellation" av Chill Chord
- ”Smooth Moves” av Reaktor Productions
- ”A Sunlit Sunday” av Vincent Tone