ChatGPT en Midjourney maken nu niet alleen nieuws in de technische media, maar ook op andere gebieden. Dit kan binnenkort veranderen, aangezien de volgende grote AI-technologie eraan komt. NVIDIA heeft een nieuwe technologie gedemonstreerd die uw GIF’s binnenkort naar nieuwe hoogten kan tillen.
Gizchina Nieuws van de week
Gebruik NVIDIA’s tekst-naar-video-technologie om video’s te maken
Nog niet zo lang geleden, NVIDIA ontketende een interessant product genaamd VideoLDM. Dat is een AI-model voor conversie van tekst naar video. Trouwens, NVIDIA heeft deze technologie gecreëerd door de handen ineen te slaan met onderzoekers van Cornell University. Eenvoudig gezegd kan dit AI-model video’s genereren met een resolutie van maximaal 2048 x 1280 pixels, een framesnelheid van 24 frames per seconde en een looptijd van maximaal 4,7 seconden op basis van tekst.
Het model maakt gebruik van vooruitgang in stabiele diffusie neurale netwerken. De NVIDIA-oplossing heeft tot 4,1 miljard parameters. Maar slechts 2,7 miljard werden getraind met behulp van video. Hoewel je misschien denkt dat dit een enorm aantal is, is het volgens de huidige AI-normen klein.
Het model kan ook video’s met rijscènes vastleggen. Ze kunnen tot 5 minuten duren en hebben een resolutie van 1024 x 512 pixels. Dit komt omdat rijscènes in het echt moeilijk te filmen zijn. Als het om zulke momenten gaat, kan deze technologie filmmakers dus helpen. Het model kan multimodale bewegingsmogelijkheden voorspellen door een groot aantal mogelijke missies te creëren op basis van een enkel bronbeeld.
Op dit moment zijn tekst-naar-video-technologieën zoals die geïntroduceerd door NVIDIA goed te gebruiken voor miniaturen en GIF’s maken. Maar we weten dat NVIDIA snel groeit op het gebied van AI. We vermoeden dus dat het niet lang zal duren voordat NVIDIA geavanceerdere technologieën zal introduceren voor het maken van langere tekst-naar-videoclips.
Deze studie zal worden gepresenteerd op de Machine Vision and Pattern Recognition Conference, die zal plaatsvinden gehouden in Vancouver van 18 tot 22 juni.
Bron/VIA:
