Image-to-Video Matched Pair

Das Kern-Feature der Dreamer-Pipeline: aus einer Plain-Sprache-Szene entsteht in einem Schritt ein gematchtes Image- und Video-Prompt-Paar. Step 1 erzeugt das Bild, Step 2 animiert es — Charakter-Beschreibung und Aspect Ratio stehen dabei wortgleich in beiden Prompts, damit das Modell dieselbe Figur und denselben Bildausschnitt konsistent weiterführt. Abweichungen zwischen Image- und Video-Prompt erzeugen Drift: Figuren verändern Aussehen oder Haltung zwischen Standbild und erster Frame. Bei Dialog-Szenen wird statt Text-to-Video Lip-Sync auf das gehaltene Still angewendet, weil das Ausgangsbild die Mimik bereits festlegt und das Modell nur noch die Mundbewegung synthetisieren muss. Neben Charakter und Aspect Ratio lohnt es sich, auch Licht- und Farbstimmung sowie die Kameraperspektive zwischen beiden Prompts abzugleichen, da das Videomodell sonst versucht, das Standbild in der ersten Frame nachträglich zu korrigieren, was zu einem sichtbaren Sprung beim Übergang von Bild zu Bewegung führt. Ein Matched Pair wird deshalb als Einheit versioniert: Ändert sich ein Detail im Image-Prompt, zieht die Korrektur im Video-Prompt nach, sonst laufen beide Prompt-Hälften bei wiederholter Iteration auseinander.