Meta 今天展示了兩個新的生成式人工智慧項目,最終將使 Facebook 和 Instagram 用戶能夠根據文字提示創建視頻,並促進對流中圖像的定制編輯,這可能具有一系列有價值的應用。
這兩個項目都基於 Meta 的「Emu」人工智慧研究項目,該項目探索了在視覺項目中使用生成式人工智慧提示的新方法。
第一個稱為“Emu Video”,它使您能夠根據文字提示創建短視訊剪輯。
1️⃣ 鴯鶓視頻
這種新的文字到視訊模型利用我們的 Emu 圖像生成模型,可以響應純文字、純圖像或組合的文字和圖像輸入來產生高品質視訊。詳情➡️ https://t.co/88rMeonxup
它使用分解方法,不僅允許我們… pic.twitter.com/VBPKn1j1OO
— Meta 的人工智慧 (@AIatMeta) 2023 年 11 月 16 日
正如您在這些範例中看到的,EMU Video 將能夠根據簡單的文字或靜態圖像輸入創建高品質的影片剪輯。
正如 Meta 所解釋的:
“這是用於視訊生成任務的統一架構,可以回應各種輸入:僅文字、僅圖像以及文字和圖像。 我們將這個過程分為兩個步驟:首先,根據文字提示產生圖像,然後根據文字和生成的圖像生成影片。 這種視頻生成的“分解”或分割方法使我們能夠有效地訓練視頻生成模型。”
因此,如果您願意,您可以根據產品照片和文字提示等內容建立影片剪輯,這可以為品牌提供一系列新的創意選擇。
Emu Video 將能夠生成 512×512、四秒長的視頻,以每秒 16 幀的速度運行,這看起來相當令人印象深刻,比去年預覽的 Meta 之前的文本到視頻創建過程要好得多。
「在人類評估中,與先前的工作相比,我們的視訊生成更受青睞 – 事實上,該模型比 [Meta’s previous generative video project] 96% 的受訪者基於質量,85% 的受訪者基於對文字提示的忠實度。 最後,同一模型可以根據文字提示對使用者提供的圖像進行「動畫」處理,再次創下了新的最先進技術,大大超越了先前的工作。」
這是一個外觀令人印象深刻的工具,它可以有多種用途,這取決於它在實際應用中是否表現良好。 但它看起來很有希望,這可能是 Meta 的生成式人工智慧工具的一大進步。
另外值得注意的是:每個剪輯左下角的小浮水印,這是 Meta 的新「AI 生成」標籤。 Meta 正在開發一系列工具來表示人工智慧生成的內容,包括在合成內容上嵌入數位浮水印。 其中許多仍然可以被編輯,但對於影片剪輯來說很難做到這一點。
Meta 的第二個新元素稱為“Emu Edit”,它將使用戶能夠在視覺效果中進行自訂、特定的編輯。
2️⃣ 鴯鶓 編輯
這種新模型能夠透過文字指令進行自由形式的編輯。 Emu Edit 精確遵循指令,並確保僅編輯輸入影像的指定元素,同時保持與指令無關的區域不變。 這使得更強大… pic.twitter.com/ECWF7qfWYY— Meta 的人工智慧 (@AIatMeta) 2023 年 11 月 16 日
這個項目最有趣的方面是它基於對話提示工作,因此您不需要突出顯示要編輯的圖像部分(例如飲料),您只需要求它編輯該元素,系統將了解您所指的是視覺效果的哪一部分。
這對於編輯 AI 視覺效果以及根據您的需求創建更多自訂變體可能會很有幫助。
這兩個項目的可能性都是巨大的,它們可以為創作者和品牌以全新的方式使用生成人工智慧提供巨大的潛力。
Meta 尚未透露這些新工具何時會在其應用程式中推出,但這兩種工具看起來都將很快推出,這將以多種方式帶來新的創意機會。
您可以在此處和此處閱讀有關 Meta 的新 EMU 實驗的資訊。