Musikvideo eksperiment med AI

af admini Uncategorizedon Udgivet d.

Eksperiment: At skabe en musikvideo med AI, MidJourney og Final Cut Pro

Jeg er i gang med et nyt musikprojekt sammen med en dygtig sangerinde, og som et eksperiment prøver jeg at skabe en musikvideo før nummeret egentlig er færdigt. Ideen er at lade billeder, stemninger og visuelle fortællinger være med til at forme selve musikken – ikke kun omvendt.

Processen består af tre trin:

  1. Analyse af tekst
    Jeg starter med at analysere sangteksten i ChatGPT for at finde frem til stemningen: dystopisk, ubestemmeligt årstal, støvet æstetik, let gysereffekt og måske et kunstigt animeret præg.
  2. Visuelle prompts og AI-billeder
    Ud fra analysen beder jeg ChatGPT om at lave 20 video-/billedeprompts, som jeg bruger i MidJourney. Når MidJourney giver mig fire billedforslag, vælger jeg ét og får det animeret – igen med fire nye varianter. Dem gemmer jeg som små videoklip.
  3. Redigering og musikproduktion
    Klippene importeres i Final Cut Pro, hvor jeg begynder at bygge musikvideoen op. Samtidig arbejder jeg videre i Logic Pro med nummeret: analoge synths, effekter, e-trommer og måske guitar og bas. Det bliver et spændende miks af lyd og billede, der påvirker hinanden i processen.

Herunder har jeg samlet nogle eksempler på prompts, billeder og videoer fra processen.

Det er super fedt – og også ret tidskrævende.
Jeg vender tilbage, når videoen tager mere form

ChatGPT Promt: Shadow Talking Prompt: Woman walking across a retro kitchen floor, her shadow on the wall moving its mouth independently, surreal mismatch, photorealistic, wide shot, vintage teal wallpaper

Midjourney: pictures in four different versions.

Mijjourney: Video-examples – four different versions (only showing one)

Final Cut: Example