Genom åren har filmskapare experimenterat med en myriad av konstnärliga idéer och metoder. Att skapa och bryta regler skapar nya vägar genom mediet, vilket förändrar och förfinar hur filmer sätts ihop.
Liksom tillkomsten av ny teknik.
I tidiga dagar skapade filmskapare som var intresserade av idén om processuell redigering komplexa matematiska ekvationer för att bestämma hur scener kunde klippas för att skapa spänning eller lägga till dramatik. De kan också klippa för att matcha en poänglängd eller för att uppnå en matematisk överensstämmelse med en annan variabel i deras projekt.
Introduktionen av optiska skrivare gjorde det möjligt för filmskapare att ta filmremsor igen, öppna dörrar för kreativitet och specialeffekter.
Under de senaste åren har kraftfull hårdvara och mjukvara, tillsammans med programmeringsspråk, gjort det möjligt för artister att ta ytterligare steg för att utveckla sitt arbete. Medan processuella redigeringsmetoder ersätter idéerna om kreativitet och vision för matematik och naturvetenskap, finns det en metod i dem. När de betraktas som verktyg för att kommunicera en vision eller leverera kreativitet, har matematik och naturvetenskap mycket att erbjuda filmskaparen.
Ett exempel på en idé eller ett koncept som har använts, i en eller annan form, under större delen av ett sekel är algoritmisk redigering.
Vad är algoritmisk redigering?
Även om det låter komplext, hänvisar algoritmisk redigering i sin enklaste form till att redigera bilder till ett schema eller plan.
Det här schemat kan vara så enkelt som "var fjärde bildruta, byt från kamera A till kamera B i två bildrutor och sedan tillbaka till kamera A", eller ännu enklare:"använd en bildruta från A och en från B och upprepa .”
Denna idé att filmerna kommer att följa en förplanerad färdplan eller direkt procedur är grunden för algoritmisk redigering. I termer som vi kan komma runt, hänvisar det till en teknik för att klippa och återmontera filmmaterial baserat på ett schema, en disposition eller en modell.
Innan man går för långt är en algoritm i sig, enligt de goda i Oxford, "en process eller uppsättning regler som ska följas i beräkningar eller andra problemlösningsoperationer, särskilt av en dator."
Detta är ett perfekt sätt att beskriva och introducera algoritmisk redigering. Tidiga visionära filmskapare som Dziga Vertov och Sergei Eisenstein tog ett matematiskt, schematiskt förhållningssätt till sina montage och scener i sina filmer, och skapade komplexa redigeringsdiagram för att vägleda deras projekt.
Medan Eisensteins vision gjorde det möjligt för publiken att se den ideologiska aspekten av filmerna de tittade på genom det känslomässiga och psykologiska inflytandet som genomsyras av hans användning av denna teknik, trodde Vertov faktiskt att hans matematiska tekniker renade upp processen och kunde leda till förbättring av mänskligheten på grund av till den ofelbara, absolut exakta metoden han följde.
Ett par otroliga artiklar av den Winnepeg-baserade filmskaparen Clint Enns beskriver historien och den praktiska tillämpningen av algoritmisk redigering i större detalj än vad den här författaren ens kan förstå. Som ett komplement till den här artikeln rekommenderar vi starkt att du läser hans verk.
Ta i bruk
Många andra tidiga filmskapare använde algoritmisk redigeringsteknik med stor effekt, många i skapandet av upplevelsefilmer. Konceptet lämpar sig verkligen för mer avantgardistiska synsätt på filmskapande.
Ta till exempel idén med en grundläggande flimmerfilm. Använd två stycken filmer – den ena helt svart, den andra helt vit – och redigera tillsammans en bit som tar en ram från det ena klippet och sedan det andra, upprepa tills klippen tar slut. Denna teknik skulle ge ett mycket unikt – och troligtvis illamående – resultat. Som sagt, det är ett mycket rent algoritmiskt tillvägagångssätt.
Den linjära karaktären hos det stycket behöver dock inte vara normen för algoritmiskt redigerade projekt. Många algoritmer utvecklade i programvara kommer att innehålla slumpvariabler som kan ändra en del av ekvationen.
Så vi skulle ta samma projekt, men lägga till en slumpmässig variabel för att hantera hur många bildrutor vi ska välja från endast det andra klippet, vilket bara lämnar en enda bildruta från det första klippet. Det vi skulle sluta med skulle vara en bildruta från klipp ett, ett slumpmässigt antal bildrutor från klipp två, en annan enskild bildruta från klipp ett...osv.
Vad är annorlunda?
Även om detta är ett oortodoxt tillvägagångssätt för redigering, låter det troligen också nästan omöjligt med de verktyg som de flesta av oss använder varje dag. Detta för oss till hur algoritmisk redigering skiljer sig från vårt filmiska tillvägagångssätt.
När vi redigerar klipp i Premiere Pro, FCPX, Media Composer, eller vilken plattform som helst, ser vi på våra bilder som ett klipp – något med en början, mitten och slutet – som vi ska klippa bort. Det är väldigt tidslinjebaserat, och med rätta; våra redigeringsplattformar är baserade på redigering av film. När vi släpper ett klipp i vår tidslinje tittar vi på den digitala motsvarigheten till ett analogt filmklipp.
I algoritmisk redigering är tillvägagångssättet att betrakta materialet på ett annat sätt - vi kommer inte åt det på samma sätt. Vi tittar inte på hela klippet och bestämmer vad vi ska behålla och vad vi ska bli av med. Med den här tekniken överväger vi direkt åtkomst till vilken ram som helst av vilket klipp som helst på en plats. Den platsen kan vara en databas eller helt enkelt en mapp på din dator.
Detta är inte att ta ifrån våra redigeringsplattformar – de ger oss verkligen tillgång till varje bildruta i varje klipp vi importerar – men att sätta ihop en komposition även med ett enkelt schema som "en bildruta från A, en bildruta från B" , upprepa” skulle vara betungande och tidskrävande.
Att skriva ett kodavsnitt för att hantera samma process skulle ta väldigt lite tid. Koden kommer inte åt filmen som ett stycke film, utan som en behållare full av data, därför är en mapp eller databas som en gigantisk behållare full av ljud- och videodata från varje bildruta som finns däri.
Så om koden direkt kan komma åt vilken ram som helst av vilket klipp som helst i en behållare, borde det finnas massor av möjligheter för att använda algoritmisk redigering kreativt. Det är möjligt att använda variablerna som finns i ett stycke film, som pixelvariationer och ljudavvikelser, för att programmässigt bestämma var man ska göra klipp och hur man sätter ihop en del av filmen igen.
Enligt den beskrivningen kan modellen för redigeringspunkter till och med vara ett musikpartitur. Cory Arcangel har gjort en handfull imponerande experiment med musik som redigeringsdrivrutin. Ett exempel på hans arbete inkluderar en YouTube-video av Paganinis Fifth Caprice, redigerad tillsammans från hundratals gitarrinstruktionsvideor. Detta åstadkoms sannolikt genom att använda originalstycket och skriva en algoritm som analyserade databasen med YouTube-videor och letade efter anteckningar som skulle matcha. Även om det är svårt att se, är prestationen ett utmärkt exempel på algoritmisk redigering på jobbet.
Vem gör det?
Ett bra exempel på en modern talang som använder algoritmisk redigering – och visar exakt hur han gör det – är Devon Crawford, en briljant ung kanadensisk programmerare som har utforskat mjukvara och elektroteknik genom sin egen forskning och dokumenterat det på YouTube.
Devons kanal täcker ett brett spektrum av ämnen av intresse för den tekniskt vänliga, mjukvaruutvecklare publiken, som att granska ett spel han kodade på första året på universitetet, ladda ner din privata Google-data – och upptäcka några galna saker om det – hur han kom in i kodning och så vidare.
Det verkar som att Devon sedan dess har gått vidare till större projekt som inte dokumenteras så nära online, men ett av hans mer intressanta experiment handlar om att använda algoritmer för att redigera klipp åt honom baserat på kod.
I den här videon skriver han ett program som redigerar en video åt honom, där han experimenterar lite med variabler för olika utfall. När han börjar förfina applikationen använder han rörelsedetektering – kommer du ihåg pixelvariation? – för att bestämma snitten i hans video, i grund och botten skapa en video som använder delar av hans klipp med mest differentiering.
Ganska intressant, eller hur? Det fanns företag under de senaste åren som hoppades kunna utnyttja denna typ av teknik för att automatiskt redigera actionkamerafilmer. Med klarblå himmel och rosa wakeboards skulle en algoritm som Devons troligen ha gjort ett lika bra jobb som en fysisk redaktör.
Andra organisationer har experimenterat med automatiserad eller algoritmisk redigering. Disney skapade en redigeringsalgoritm med flera kameror som använder olika variabler för att bestämma redigeringspunkter. I deras projekt uppskattar programvaran 3D-rörelsen för varje kamera, vilket gör att den kan låsa in sig på det som kamerorna ägnar mest uppmärksamhet åt. Detta gör det möjligt för programvaran att korrekt bestämma när och var den ska göra ett klipp till en annan kamera. Disneys algoritm kan också avgöra vilken kamera som har den bästa bilden av motivet och växla till den, så klippet är inte bara lägligt, utan det är smart.
Inte riktigt en mänsklig redaktör, men kommer säkert närmare.
Vad framtiden har att erbjuda...
Även om många av oss kommer att hålla fast vid vår filmiska inställning till redigering, bör det noteras att maskininlärning och tillämpning av algoritmer redan har funnits runt omkring oss under en tid. Algoritmer bestämmer uppskalning och renderingsoptimering, nyckelbildsinterpolering och andra aspekter av vårt arbete. Mer komplexa algoritmer kommer att fortsätta att forma allt vårt arbete, eftersom företag som Adobe fortsätter att fokusera på maskininlärning med Adobe Sensei.
Inte helt övertygad? Ta en titt på After Effects Content Aware Fill-funktion. Den tittar på omgivande pixlar och gör en uppskattning för att fylla ett tomrum i realtid.
Så oavsett om vi väljer att närma oss redigering ur en programmatisk vinkel eller hålla fast vid vårt traditionella tillvägagångssätt, har algoritmer funnits på bio i ett sekel och kommer att fortsätta att vara mer och mer inneboende i våra redigeringsfunktioner över tiden. Kommer algoritmisk redigering att bli "automatiserad redigering" i framtiden? Förmodligen i vissa fall, men det finns förmodligen ett argument för det.
Så har framtidens film användning för algoritmisk redigering? Föreställ dig ett scenario där en mjukvara automatiskt klipper och trycker ut 25 grova klipp av en film. Studion samlar testpublik för att titta på utkasten medan kameror, sensorer och ytterligare programvara mäter deras reaktioner på varje bildruta i videon. Baserat på dessa data, sammanställer studion ett sista, "perfekterat snitt."