Förderjahr 2023 / Projekt Call #18 / ProjektID: 6823 / Projekt: Fight Fakes
Aktuell stecken wir mitten in der Content-Entwicklung für unsere Lernumgebung. Mitunter sind die Ergebnisse ernüchternd bis absurd.
Die Entwicklung der generativen KI ist in den letzten Jahren rasant vorangeschritten, nicht nur durch neue Modelle wie dem Generative Adversarial Network (GAN), sondern auch durch leistungsfähigere Hardware. Brauchte man vor einem Jahr noch viel Zeit, viel GPU und entsprechendes Können, um ein Bild zu erstellen, so soll dies heute mit einem Klick möglich sein - und selbst Videos sollen erstaunliche Ergebnisse liefern.
So zumindest die Vorstellung. Doch ganz so einfach ist es aktuell nicht. Zumindest nicht, wenn es um die Erstellung vollsynthetischer Videos geht (im Gegensatz zur KI-gestützten Veränderung von Videos durch z.B. Lippensynchronisation oder Face Swap).Diese Erfahrung haben wir beim Testen verschiedener Tools gemacht: Es gibt tatsächlich einige beeindruckende Ergebnisse, die (oft mit weiteren Nachbearbeitungen) als echt durchgehen könnten. Viele der Ergebnisse haben uns aber vor allem zum Schmunzeln gebracht.
Beispiele aus unserer DeepFail-Sammlung
Prompt: A group of men and women dressed in Victorian costume are driving through a historic cityscape in a modern, self-driving electric car (Tesla).
Modell | Tool: Stable Diffusion XL (Juggernaut V6) for image creation, Stable Video Diffusion img2vid for video creation | artguru.ai
Prompt: A video of Wolfgang Amadeus Mozart as a DJ in a baroque ballroom. Mozart is standing behind DJ equipment, wearing Baroque-style clothing and a Baroque wig. Above him hangs a glittering chandelier, and the room is illuminated with soft, warm lighting. People are dancing in front of him, all dressed in 18th-century clothing including skirts, waistcoats, and trousers, and wearing Baroque wigs. The scene is lively, with realistic lighting and shadows.
Sound: Techno Tunes
Modell | Tool: Pika 1.0 | pika.art
Prompt: A video of Empress Sissi and Emperor Franz Joseph in a colonial-styled office within the Schönbrunn Palace. They are both dressed in their traditional 19th-century royal attire. Sissi is sitting at a desk with a laptop open in front of her, participating in a video conference with Franz Joseph, who is also visible on the screen. The room is richly decorated with furniture, floral wallpaper, and a chandelier, capturing the elegance of the Schönbrunn Palace.
Sound: Techno Tunes
Modell | Tool: Pika 1.0 | pika.art
Prompt: A video of Wolfgang Amadeus Mozart as a DJ in a baroque ballroom. Mozart is standing behind DJ equipment, wearing Baroque-style clothing and a Baroque wig. Above him hangs a glittering chandelier, and the room is illuminated with soft, warm lighting. People are dancing in front of him, all dressed in 18th-century clothing including skirts, waistcoats, and trousers, and wearing Baroque wigs. The scene is lively, with realistic lighting and shadows.
Sound: Techno Tunes
Modell | Tool: Dream Machine | lumalabs.ai
Prompt: A photorealistic video of Wolfgang Amadeus Mozart as a DJ in a ballroom. Mozart is standing behind DJ equipment, wearing Baroque-style clothing and a Baroque wig. Above him hangs a glittering chandelier, and the room is illuminated with soft, warm lighting. People are dancing in front of him, all dressed in 18th-century clothing. Ensure the people are depicted in a highly photorealistic style.
Modell | Tool: Text-to-Video-Morph-0.2 | morphstudio.com