智東西（公眾號：zhidxcom）
編譯 | 汪越
編輯 | 程茜
智東西10月16日消息，10月14日，Adobe在Adobe MAX大會上宣布推出Firefly視頻生成模型，并強化了現(xiàn)有的圖像、矢量和設計模型。Firefly視頻模型已進入有限公開測試階段，成為首個可安全用于商業(yè)用途的生成式AI視頻模型。
最新的Firefly圖像模型Firefly Image 3將允許用戶在幾秒內(nèi)生成圖像，速度較上一版提升了四倍。同時，基于Firefly視頻生成模型，Premiere Pro進行了重要更新。Premiere Pro新增了三個主要功能，分別是文生視頻、圖生視頻和生成擴展（Generative Extend）。
▲使用生成擴展填補視頻素材缺失片段（視頻來源：Adobe）
通過文生視頻功能，用戶可模擬調(diào)整攝像機角度、運動和縮放等參數(shù)，進一步細化視頻；通過圖生視頻功能，用戶可在文本提示旁邊另外添加參考圖像，以生成更符合想象的視頻。用戶甚至可以通過一張靜圖重制現(xiàn)有視頻，實現(xiàn)視覺上的再加工；通過生成擴展功能，用戶可直接對視頻進行微調(diào)，而不至于重新拍攝。
用戶在使用這三個功能時，均需要等待大約90秒才能生成視頻。采用文生視頻和圖生視頻功能生成的視頻最長為5秒，分辨率最高為720P，幀率為每秒24幀。采用生成擴展功能的視頻最多可延長2秒，視頻背景音效延長10秒。
▲使用文生模型生成視頻（視頻來源：Adobe）
Firefly視頻模型作為Adobe生成式AI套件的擴展，已經(jīng)被集成到其云端套裝軟件Adobe Creative Cloud的多款應用中，包括修圖軟件PS、矢量圖形設計軟件Illustrator、內(nèi)容創(chuàng)作工具Adobe Express和視頻編輯軟件Premiere Pro等，以支持各種創(chuàng)意工作流程。自2023年發(fā)布以來，F(xiàn)irefly已累計生成超過130億張圖像，僅過去六個月就生成60億張。
一、Firefly進行公開測試，AI視頻最多可生成5秒，視頻擴展最多延長2秒
本次視頻編輯軟件Premiere Pro的重大更新，一是幫助用戶自動擴展開頭片尾，二是模擬相機進行一鍵調(diào)參，三是實現(xiàn)視頻一鍵重拍。
1. 生成擴展：適合微小調(diào)整，視頻最多延長2秒，音效最多延長10秒
生成擴展由Firefly模型支持，現(xiàn)已在Premiere?Pro?Beta版本中進行測試。該工具能夠?qū)崿F(xiàn)視頻素材的自動擴展，填補視頻空白、實現(xiàn)畫面平滑過渡，以及延長視頻的開頭片尾。
延長視頻，即如果視頻的開頭或結尾略短，生成擴展功能可自動進行素材填充。生成擴展功能還可以幫助微調(diào)視頻中景，即它能發(fā)現(xiàn)拍攝過程中的視線偏移或意外移動，并進行糾正。
目前，生成擴展功能最多支持視頻延長2秒，以此滿足用戶微調(diào)視頻的需要，一定程度上免去重新拍攝素材的麻煩。生成擴展功能的分辨率是720P或1080P分辨率，24幀每秒。
此外，生成擴展功能也能用于音頻剪輯，它可以將視頻中的音效或環(huán)境背景音擴展最多十秒鐘，但不會延長語音對話或音樂。
▲新生成擴展工具可以填補通常需要完全重新拍攝的素材中的空白（圖源：Adobe）
2. 文生視頻：可仿照攝像機直接調(diào)參，最多生成5秒視頻
Adobe的文生模型和圖生模型于9月份首次發(fā)布，目前正在Firefly Web應用程序中作為有限的公開測試版推出。
文生模型的功能與Runway和OpenAI的Sora等其他視頻生成器類似，用戶只需輸入想生成的視頻的文本描述即可。該文生模型可以模擬真實電影、3D動畫和定格動畫等多種風格來生成視頻。
此外，用戶可以通過文生模型，仿照攝像機調(diào)節(jié)視頻拍攝參數(shù)。用戶可以通過模擬攝像機角度、運動和拍攝距離等，來進一步細化生成的視頻。
▲通過相機控制選項來調(diào)整生成圖像的示例（圖源：Adobe）
3、圖生視頻：一張圖直接重制視頻，但無法完全替代重拍
圖生視頻相較于文生視頻，在功能上更進一步。圖生視頻允許用戶在文本提示的基礎上，添加參考圖像，以生成更符合想象的視頻。
用戶還可以上傳已有視頻的單幀，一鍵創(chuàng)建完整的特寫鏡頭，來制作視頻花絮。
圖生視頻模型可實現(xiàn)視頻重拍。用戶可以上傳靜態(tài)圖片來重新制作視頻，直接對原視頻中的人物動作進行操作和修改，實現(xiàn)視覺上的再加工。
然而，科技媒體The Verge的測試表明，這項技術目前還無法完全替代重新拍攝，其生成結果存在瑕疵。例如，測試中出現(xiàn)了電纜晃動和背景移動等問題，生成的視頻在某些細節(jié)處理上不夠精確。
▲原始剪輯（視頻來源：Adobe）
▲使用圖像到視頻工具“重制”鏡頭，注意看黃色電纜搖晃了（視頻來源：Adobe）
目前，Adobe的文生視頻和圖生視頻，二者生成的視頻時長均最多5秒，最高分辨率為720P，幀率為每秒24幀。OpenAI的Sora聲稱可以生成長達一分鐘的視頻，并能在保持視覺質(zhì)量的同時滿足用戶的提示要求，但其并未向公眾開放使用。
▲該模型僅限于生成大約4秒長的剪輯。幼龍在巖漿中爬行的示例（視頻來源：Adobe）
二、增強圖像、矢量和設計模型功能更新，Firefly?Services將支持批量創(chuàng)建
自2023年推出以來，F(xiàn)irefly陸續(xù)被引入PS、Express、Illustrator、3D繪圖軟件Substance 3D中，并支持Creative Cloud應用程序中的各種工作流程。
本次更新，Adobe在PS中推出了全新的AI生成工作區(qū)（測試版），由Firefly模型支持。它能幫助設計師進行創(chuàng)意構思和迭代，簡單操作即可生成視覺效果。
同時，Adobe更新了Illustrator，并引入最新的Firefly矢量模型（測試版）。新功能包括生成形狀填充、重新著色和文本到圖案等，設計師可以快速生成和優(yōu)化矢量圖形，并控制圖案中元素的密度，靈活調(diào)整設計復雜度，實現(xiàn)個性化創(chuàng)作。
此外，Adobe預覽了一款新功能Project Concept，旨在促進團隊協(xié)作中的創(chuàng)意開發(fā)。該功能允許多人在同一畫布上實時構思和重新混合圖像內(nèi)容。
▲Project Concept示例（圖源：Adobe）
今年3月，Adobe推出了面向企業(yè)的創(chuàng)意和生成API集合Firefly Services。Firefly Services支持企業(yè)自有數(shù)據(jù)對模型進行定制、微調(diào)，同時可以與PS、Illustrator、Express等Adobe產(chǎn)品結合使用，簡化創(chuàng)意流程。
本次產(chǎn)品更新，F(xiàn)irefly Services將支持配音和唇形同步功能，目前這兩個功能已進入測試階段。用戶可以利用生成式AI將視頻中的口語對話翻譯成不同語言，同時確保唇形與原始聲音匹配同步。
另外，F(xiàn)irefly?Services還將支持批量創(chuàng)建，簡化圖像大小調(diào)整、背景刪除等任務。
迄今為止，已有多個知名客戶使用了Adobe?Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG?Health和德勤等。他們通過Firefly優(yōu)化工作流程并擴展內(nèi)容創(chuàng)建，使創(chuàng)意人員能有更多時間探索創(chuàng)意愿景。
三、Firefly訓練數(shù)據(jù)合法且豐富，支持超過100種語言文本提示
商業(yè)可用性是AI視頻生成行業(yè)的關鍵問題。此前，Runway公司在訓練其AI視頻生成工具Gen-3時，涉嫌非法使用了大量YouTube視頻和盜版電影，侵犯了內(nèi)容創(chuàng)作者權益并違反了YouTube使用規(guī)則。
Adobe強調(diào)其AI功能根據(jù)公司制定的AI道德原則開發(fā)，強調(diào)問責制、責任和透明度。Adobe表示其基于AI視頻模型支持的工具是“商業(yè)安全的”。Firefly的訓練數(shù)據(jù)來源于Adobe許可內(nèi)容（如Adobe?Stock）和公共領域內(nèi)容，能夠確保生成作品的安全性和合規(guī)性。
Firefly支持超過100種語言的文本提示。自2019年創(chuàng)立內(nèi)容真實性計劃以來，Adobe廣泛采用內(nèi)容憑證作為數(shù)字內(nèi)容透明度的行業(yè)標準。該內(nèi)容憑證目前已獲得3700多名成員的支持。
內(nèi)容憑證就像數(shù)字內(nèi)容的“營養(yǎng)標簽”。用戶在Creative?Cloud中選擇Firefly支持的功能時，內(nèi)容憑證將標明生成式AI的使用情況。此外，內(nèi)容憑證也會嵌入用戶使用Firefly創(chuàng)建或編輯的視頻，以披露AI的使用和所有權。
結語：Adobe正式入局AI視頻生成，與OpenAI等展開競爭
從去年3月發(fā)布第一版Firefly，到今年首次公開測試，Adobe在AI視頻生成技術商業(yè)化應用上邁出了重要一步。
現(xiàn)階段，Adobe的圖生視頻模型無法完全替代重新拍攝，生成結果仍存在瑕疵。而且相較于宣稱能生成一分鐘視頻的Sora，Adobe的文生視頻和圖生視頻的最大長度僅為5秒。但是，Adobe的這些工具至少是公開可用的。OpenAI的Sora、Meta的Movie?Gen和Google的Veo等AI視頻生成工具的內(nèi)容均還不可用。
在有限公開測試階段，Firefly相關產(chǎn)品免費使用，用戶也可前往官網(wǎng)申請加入候補名單。
目前，Adobe尚未宣布任何客戶使用其視頻生成工具。但據(jù)Adobe透露，百事可樂旗下的運動飲料品牌佳得樂將在一個網(wǎng)站上使用其圖像生成模型，顧客可以在該網(wǎng)站上購買定制版瓶子。全球最大的玩具公司美泰一直在使用Adobe工具來幫助設計其芭比娃娃系列的包裝。
面對OpenAI、Runway、Google和Meta等競爭對手，Adobe將未來押注在使用合法數(shù)據(jù)訓練的模型上，以確保其AI生成內(nèi)容可在商業(yè)作品中合法使用。
Firefly視頻模型憑借其使用授權內(nèi)容的訓練數(shù)據(jù)，確保了生成內(nèi)容的版權合規(guī)性。這一優(yōu)勢使得生成的內(nèi)容能夠合法應用于商業(yè)項目，這對企業(yè)和品牌而言非常重要。而其他視頻生成模型則因訓練數(shù)據(jù)來源不明或未經(jīng)授權，頻頻卷入版權和道德爭議。
來源：Adobe、The Verge、路透社
