雖然 ChatGPT 和 Google Bard 等功能強大的 AI 聊天機器人由大型語言模型提供支持,但使用 AI 的圖像和視頻合成是建立在 Diffusion 和 GAN 模型的基礎上的。所有這些都是流行的生成式人工智能體驗的一部分。在這篇文章中,我們將仔細研究最好的人工智能視頻生成器。目前為止,網上發布的文字轉視頻AI模型僅有少數,但哪些是好的、可用的呢?為了找到答案,讓我們繼續查看 2023 年最佳人工智能視頻生成器列表。
目錄
1. Runway Gen-2
您現在可以使用的最好的 AI 視頻生成器是 Runway Gen-2。此前,Runway 已通過 Gen-1 引入了視頻到視頻生成功能,現在通過 Gen-2 模型,您可以使用文本提示從頭開始生成視頻。與中途提示類似,你可以描述場景、攝像機角度等,它會產生令人難以置信的結果。我在 Runway 上嘗試了一些提示,效果還不錯。
最好的部分是您可以在提示中添加圖像,並且 Runway 可以在視頻中使用該圖像。這很酷,對吧?說到可用性,它幾乎是免費使用的。您可以生成 720p 分辨率最多4 秒的視頻,並且可以創建近 10 個免費視頻。
如果您選擇付費套餐(每月 12 美元),您可以導出 4K 視頻,但 4 秒時長將保持不變。因此,如果您想嘗試最好的文本到視頻 AI 工具,請查看 Runway Gen-2。
查看 Runway Gen-2 (免費,付費計劃起價為每月 12 美元)
2. ModelScope
ModelScope是阿里巴巴達摩院視覺智能實驗室資助的文本轉視頻模型,隨著時間的推移,它已經變得相當不錯。它建立在擴散模型的基礎上,並接受了 17 億個參數的訓練。目前僅支持英文輸入,可以生成與文本輸入匹配的視頻。
值得慶幸的是,該項目在 Hugging Face 上可用,因此您可以使用它來生成 AI 視頻。但請記住,它只能生成2秒的視頻,並且視頻上有“Shutterstock”水印。我嘗試了這個模型,它看起來像是一項正在進行中的工作。
查看 ModelScope(免費)
3. Zeroscope
Zerscope 是另一個源自 ModelScope 的文本到視頻模型。它能夠創建 1024 x 576 分辨率的高質量 AI 視頻。除了 24 幀(1024 x 576 分辨率)的 9,923 個剪輯和 29,769 個標記幀之外,該模型還根據 ModeScope 的原始權重進行了訓練。因此,它創建的輸出比 ModelScope 稍好一些。
Zerscope 有兩種型號:zeroscope_v2_576w 和zeroscope_v2_XL。 Zeroscope_v2_576w 模型用於生成視頻,zeroscope_v2_XL 用於用於以更高分辨率升級生成的內容。您可以在 Hugging Face 上查看這款超酷 AI 視頻生成器的演示。
查看 Zeroscope(免費)
4。 VideoCrafter
VideoCrafter是一款根據文本提示創建視頻的人工智能工具包,由騰訊開發。與其他人工智能視頻生成模型不同,它可以創建長達 8 秒的視頻,並且還支持不同的分辨率。
有三種不同的方式使用VideoCrafter。您可以使用文本到視頻生成、使用 LoRA 的個性化 AI 視頻生成以及可控視頻生成。所有三種模式都可以讓您從頭開始創建 AI 視頻。如果您擁有強大的 GPU 和至少 7GB VRAM,則可以在計算機上本地運行 VideoCrafter。不過,網上有一個 Hugging Face 演示,您可以在下面嘗試一下。
查看 VideoCrafter(免費)
5。 Synthesia
Synthesia 是一款 AI 工具,您可以使用它在幾分鐘內創建專業的 AI 視頻。您可以使用它來創建教程、視頻文檔、演示文稿、銷售宣傳等等。從這個意義上說,它不是一個可以使用文本提示從頭開始創建內容的人工智能視頻生成器。在 Synthesia 上,您可以從 140 多種不同的 AI 頭像中進行選擇,並將任何文本轉換為 120 多種語言的語音。
基本上,您不必建立工作室併購買昂貴的硬件來製作專業視頻。借助 Synthesia 的人工智能角色和內置文本轉語音工具,您可以快速開始創建內容。您所要做的就是輸入視頻腳本。
那你還在等什麼?繼續嘗試 Synthesia 來創建精彩的 AI 視頻。如果您正在尋找 Synthesia 的替代方案,您可以查看 HeyGen (訪問) 和 Pictory (訪問)。
查看 Synthesia (一個免費視頻,付費套餐起價為每月 22.50 美元)
6。 Kaiber
Kaiber 本身並不是一個 AI 視頻生成器,但它可以生成不同藝術形式的主題動畫。您可以輸入文本提示、上傳自己的圖像或上傳歌曲,它可以處理所有內容並使用其先進的人工智能生成引擎創建迷人的動畫。您還可以上傳視頻並將其轉換為各種風格和美學。
不過,該應用程序並非完全免費。您可以獲得 7 天的免費試用期,但為此,您必須添加您的銀行卡詳細信息並訂閱其 5 美元的訂閱計劃。簡而言之,Kaiber 是一款人工智能工具,您應該嘗試使用它來生成圖像和視頻的視覺效果。
查看 Kaiber (7 天免費試用,付費計劃起價為每月 5 美元)
7. Wonder Studio
Wonder Studio不是面向普通消費者的AI視頻生成工具,而是針對電影製作人和內容創作者的。它允許您自動將計算機生成的角色製作成動畫到真人場景中,而無需手動應用視覺特效。基本上,它可以自動化 80 – 90% 的 VFX 和 3D 工作,而且效果很好。無需使用複雜的 3D 軟件或昂貴的硬件。
Wonder Studio 可以自動檢測場景中的演員並逐幀應用 CG 角色無需繁重的 VFX 工作。因此,如果您是一位嶄露頭角的電影製作人,需要快速完成大量繁重的視覺特效工作,那麼您應該看看 Wonder Studio。
查看 Wonder Studio(請求訪問權限)
8。 Google Imagen Video 和 Phenaki
Google 尚未向公眾發布其文本到圖像模型,但它已經宣布了該公司正在開發的模型。這家搜索巨頭正在開發基於級聯擴散模型的 Imagen Video。它可以以 24 fps 生成1280 x 768 分辨率的高清視頻。
Google 還在開發 Phenaki,這是一種文本轉視頻模型,可以根據文本提示合成逼真的視頻。這兩種模型都在開發中,當我們手上有一個可用的人工智能視頻生成器時,我們還沒有開發。但是,您可以從下面的鏈接閱讀研究論文。
除此之外,Meta 還宣布推出 Make-A-Video可以從文本生成視頻的人工智能工具。您可以使用文本、圖像或視頻輸入創建逼真、超現實和個性化的視頻。 Meta 的模型能夠從單個圖像創建運動視頻。您還可以添加多個圖像作為輸入,它可以填充運動來創建夢幻視頻。
根據 Meta 的研究論文,其視頻生成模型對文本輸入的表示能力比其他模型好 3 倍,效率也更高。該項目同樣不向公眾開放,但您可以從 Meta 註冊並請求訪問權限。
10。 Nvidia 的潛在擴散模型
最後,Nvidia 宣布了其高保真視頻潛在擴散模型,該模型可以使用文本提示生成高效的高分辨率視頻。它可以以 24 fps 生成分辨率為 1280 x 2048 的視頻,這是完美的。它的大多數視頻長度為 5 秒,但它也可以生成分辨率為 512 x 1024 的更長的 5 分鐘視頻。您還可以添加圖像輸入並創建個性化的 AI 視頻。
在視頻合成領域,我認為 Nvidia 將成為未來的關鍵參與者之一。與此同時,英偉達在其網站上展示了多個視頻演示,您可以在下面查看。
發表評論
結束了六月的遊戲發布週期,是時候談談《AEW Fight Forever》了,Yuke 重返摔跤視頻遊戲。畢竟,我最近才看完一場名為《禁門》的誇張 PvP,以及《肯尼·歐米加 vs 威爾·魚鷹》[…]
《暗黑破壞神 4》可能是我今年最期待的遊戲之一。兩次成功的測試讓我們嚐到了對這個長期運行的系列的第四個作品的期待。不過,我也很謹慎,因為我[…]
RTX 4060 Ti 終於來了,它與基本 RTX 4060 一起以足夠有吸引力的價格點到達,讓遊戲玩家考慮升級他們的顯卡。但你應該嗎?我們將深入比較 RTX 4060 […]