ChatGPT und Midjourney machen jetzt Schlagzeilen nicht nur in den technischen Medien, sondern auch in anderen Bereichen. Dies könnte sich bald ändern, da die nächste große KI-Technologie auf dem Weg ist. NVIDIA hat eine neue Technologie vorgeführt, die Ihre GIFs bald auf neue Höhen heben könnte.
Gizchina-Nachrichten der Woche
Verwenden Sie die Text-zu-Video-Technologie von NVIDIA, um Videos zu erstellen
Vor nicht allzu langer Zeit hat NVIDIA brachte ein interessantes Produkt namens VideoLDM heraus. Das ist ein KI-Modell für die Text-zu-Video-Konvertierung. Übrigens hat NVIDIA diese Technologie in Zusammenarbeit mit Forschern der Cornell University entwickelt. Vereinfacht ausgedrückt kann dieses KI-Modell Videos mit einer Auflösung von bis zu 2048 x 1280 Pixeln, einer Bildrate von 24 Bildern pro Sekunde und einer Laufzeit von bis zu 4,7 Sekunden basierend auf Text generieren.
Das Modell nutzt Fortschritte bei der stabilen Verbreitung Neuronale Netze. Die NVIDIA-Lösung verfügt über bis zu 4,1 Milliarden Parameter. Aber nur 2,7 Milliarden wurden per Video geschult. Obwohl Sie denken, dass dies eine riesige Zahl ist, ist sie nach heutigen KI-Standards klein.
Außerdem kann das Modell Videos mit Fahrszenen aufnehmen. Sie können bis zu 5 Minuten dauern und haben eine Auflösung von 1024 x 512 Pixel. Das liegt daran, dass Fahrsequenzen im wirklichen Leben schwer zu drehen sind. Daher kann diese Technologie Filmemachern in solchen Momenten helfen. Das Modell kann multimodale Bewegungsmöglichkeiten vorhersagen, indem es eine große Anzahl möglicher Missionen aus einem einzigen Quellbild erstellt.
Im Moment sind Text-zu-Video-Technologien wie die von NVIDIA eingeführte gut zu verwenden Thumbnails und GIFs erstellen. Aber wir wissen, dass NVIDIA im KI-Bereich schnell wächst. Wir gehen davon aus, dass es nicht lange dauern wird, bis NVIDIA fortschrittlichere Technologien zum Erstellen längerer Text-zu-Video-Clips auf den Markt bringt.
Diese Studie wird auf der Machine Vision and Pattern Recognition Conference vorgestellt, die stattfinden wird vom 18. bis 22. Juni in Vancouver statt.
Quelle/VIA:
