智東西（公眾號(hào)：zhidxcom）
作者 | 王涵
編輯 | 心緣
智東西4月3日?qǐng)?bào)道，今天，阿里通義實(shí)驗(yàn)室發(fā)布視頻創(chuàng)作大模型Wan2.7-Video，支持文本、圖像、視頻、音頻全模態(tài)輸入，在畫(huà)面結(jié)構(gòu)、劇情走向、局部細(xì)節(jié)、時(shí)序變化等方面均可編輯。
Wan2.7-Video實(shí)現(xiàn)一句話(huà)改視頻，模型會(huì)自動(dòng)保持光影與材質(zhì)的一致性，同時(shí)可以搭配多張圖像輸入。
Wan2.7-Video引入了視頻續(xù)寫(xiě)與尾幀控制的聯(lián)合機(jī)制，用戶(hù)可以在續(xù)寫(xiě)視頻的同時(shí)，直接指定結(jié)尾畫(huà)面。同時(shí)，該模型支持全模態(tài)素材參考，最多支持5個(gè)視頻主體參考。
在運(yùn)鏡方面，用戶(hù)只需丟一段簡(jiǎn)短文字，模型就能自動(dòng)搞定智能劇本創(chuàng)作和分鏡調(diào)度，還可以根據(jù)不同的電影類(lèi)型自動(dòng)匹配相關(guān)色彩和光影風(fēng)格。
智東西上手體驗(yàn)了Wan2.7-Video的角色替換功能，讓模型將原視頻中的歐美男生換為參考圖中的中國(guó)男生。
可以看到，素材替換后的視頻，背景和人物的服裝、姿態(tài)均與原視頻保持一致，人物的嘴型和臺(tái)詞也沒(méi)有改變，只是人物服裝上的光影效果被壓暗了。并且，視頻中替換后的中國(guó)男生也與素材照片基本一致。
原視頻：
修改后視頻：
體驗(yàn)鏈接：
阿里云百煉：
https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all?providers=wan
萬(wàn)相官網(wǎng)：
https://tongyi.aliyun.com/wan
一、支持局部增刪改，可參考多模態(tài)素材
在Wan2.7-Video中，用戶(hù)可以像修圖一樣修視頻，可以通過(guò)指令對(duì)視頻畫(huà)面進(jìn)行局部調(diào)整，編輯后的區(qū)域在光影與材質(zhì)上能與原視頻自然融合。
該模型支持指令增刪元素、替換物體，也可修改物體屬性，還可以支持參考圖像內(nèi)容進(jìn)行精準(zhǔn)添加。Wan2.7-Video可以保持人物動(dòng)作不變，將背景季節(jié)從夏日變深秋，或一鍵轉(zhuǎn)換畫(huà)風(fēng)。
對(duì)于已經(jīng)拍攝或生成的視頻內(nèi)容，該模型支持通過(guò)指令描述對(duì)劇情內(nèi)容和拍攝方法進(jìn)行修改。
角色方面，Wan2.7允許用戶(hù)在不改變?cè)猩矸莺蛨?chǎng)景的前提下，對(duì)角色的行為、臺(tái)詞甚至拍攝視角進(jìn)行修改，實(shí)現(xiàn)二次創(chuàng)作。
該模型支持修改角色所講的臺(tái)詞內(nèi)容，保持其情緒、口型與新臺(tái)詞匹配，并保持音色統(tǒng)一。用戶(hù)也可以修改視頻中角色的行為，如“其他保持不變，坐沙發(fā)上的女生變?yōu)檎局蛴螒颉?，僅動(dòng)作邏輯改變。
同時(shí)該模型還支持同場(chǎng)景角色的風(fēng)格、服飾、道具等的修改，保持原有姿勢(shì)不變。拍攝方面，Wan2.7支持修改拍攝相機(jī)設(shè)定如機(jī)位、視角、景別、鏡頭類(lèi)型、焦距等。
Wan2.7可以保留原視頻的動(dòng)作序列或鏡頭運(yùn)動(dòng)，生成新場(chǎng)景；參考視頻的風(fēng)格化表現(xiàn)或粒子特效材質(zhì)；保留原視頻的色彩風(fēng)格和環(huán)境，增加劇情等。
本次升級(jí)，Wan2.7重點(diǎn)優(yōu)化了視頻續(xù)寫(xiě)+尾幀控制功能，Wan2.7可以實(shí)現(xiàn)對(duì)劇情走向和畫(huà)面構(gòu)圖、光影的精準(zhǔn)控制，兼顧動(dòng)態(tài)延續(xù)性與結(jié)構(gòu)可控性。
用戶(hù)只需要告訴模型后續(xù)劇情，它就能在保證畫(huà)面連貫的前提下，延展劇情、變換機(jī)位或調(diào)整節(jié)奏，有效解決傳統(tǒng)首尾幀中常見(jiàn)的“剎車(chē)感”以及視頻續(xù)寫(xiě)可控性差的問(wèn)題。
在參考圖方面，Wan2.7支持圖像、視頻、音頻等多模態(tài)參考，支持最多5個(gè)視頻主體參考。該模型還對(duì)多宮格參考圖進(jìn)行了針對(duì)優(yōu)化，可以直接將漫畫(huà)轉(zhuǎn)換成動(dòng)畫(huà)片。
二、演繹超40種表情，還能拍出希區(qū)柯克效果
通義實(shí)驗(yàn)室視頻團(tuán)隊(duì)透露，Wan2.7對(duì)大量專(zhuān)業(yè)劇本進(jìn)行了學(xué)習(xí)，這使得模型掌握了編排不同戲核的內(nèi)在規(guī)律。
該模型能根據(jù)一句話(huà)，自動(dòng)構(gòu)建出符合戲劇邏輯的起承轉(zhuǎn)合，并生成節(jié)奏精準(zhǔn)、鏡頭語(yǔ)言豐富的專(zhuān)業(yè)分鏡腳本。在情緒表達(dá)上，Wan2.7不僅支持高興、悲傷、憤怒等基礎(chǔ)情緒，還能演繹超過(guò)40種細(xì)分表情。
并且，Wan2.7還建立了一種新的映射關(guān)系，即以戲核為高級(jí)指令，直接驅(qū)動(dòng)光影、攝影與色彩等參數(shù)的生成。用戶(hù)指定影片類(lèi)型，如“西部片”、“科幻片”，即可獲得與風(fēng)格相符的光影、色彩等。
除此之外，該模型將動(dòng)畫(huà)的藝術(shù)風(fēng)格解構(gòu)為了整體造型、線(xiàn)條輪廓、光影材質(zhì)、空間等多個(gè)獨(dú)立維度。用戶(hù)可以自由組合這些維度，創(chuàng)造出獨(dú)特視覺(jué)風(fēng)格，并保持多鏡頭間的高度一致。
此外，在拍攝技巧上，其還支持推、拉、搖、移、跟、升降等數(shù)十種基礎(chǔ)運(yùn)鏡，能執(zhí)行希區(qū)柯克式變焦、上升揭示、左移右搖、手持跟拍等復(fù)合技巧。
結(jié)語(yǔ)：視頻生成不再是視覺(jué)模型的獨(dú)角戲
過(guò)去，用戶(hù)修改視頻中的任何細(xì)節(jié)幾乎都意味著重新生成整個(gè)片段，效率低下且難以保持一致性。Wan2.7的通過(guò)底層效率優(yōu)化顯著降低模型的使用門(mén)檻，技術(shù)優(yōu)化讓專(zhuān)業(yè)視頻創(chuàng)作變得更加輕松可控。
通義實(shí)驗(yàn)室語(yǔ)音團(tuán)隊(duì)透露，其在音頻預(yù)訓(xùn)練、音頻數(shù)據(jù)、音頻理解方面提供了大力支持，顯著提升了該模型的聲音的真實(shí)感、自然度、音樂(lè)旋律和音畫(huà)同步的質(zhì)量。
虎鯨文娛摩酷實(shí)驗(yàn)室則在影視領(lǐng)域知識(shí)和角色表演方面提供了一系列專(zhuān)業(yè)支持，提升了模型的影視級(jí)表現(xiàn)力。
雙方的合作說(shuō)明，當(dāng)下高質(zhì)量視頻生成已不僅僅是視覺(jué)模型的競(jìng)賽，而是對(duì)音畫(huà)協(xié)同、表演邏輯和影視美學(xué)的綜合考驗(yàn)。
