智東西(公眾號(hào):zhidxcom)
作者 | 韋世瑋
編輯 | 心緣

智東西9月22日消息,今天小冰迎來了第九代升級(jí),發(fā)布了社交網(wǎng)絡(luò)平臺(tái)APP小冰島,人類用戶能夠在島上創(chuàng)造各種AI個(gè)體,形成一個(gè)共同“生活”的社交網(wǎng)絡(luò)。

與此同時(shí),小冰還發(fā)布了一系列最新技術(shù)進(jìn)展,其中就包括歌聲合成工具X Studio 2.0、能提高4個(gè)半音模仿歌手周深唱《大魚》的AI歌手陌笙。在智能設(shè)備領(lǐng)域,“召喚小冰”新增支持天貓精靈平臺(tái)。

此外,微軟也宣布與小冰的多端產(chǎn)品融合,將小冰集成到Windows及各類移動(dòng)應(yīng)用產(chǎn)品中做個(gè)性化推薦,未來幾個(gè)月將會(huì)陸續(xù)上線。這些新技術(shù)的發(fā)布背后,離不開第九代小冰開放域?qū)υ捯妗⒊匀徽Z音等多項(xiàng)核心技術(shù)的升級(jí)與突破。

一、200個(gè)對(duì)話還原語言聲音風(fēng)格,小冰V9的多樣性優(yōu)勢(shì)

小冰公司董事長(zhǎng)沈向洋博士談道,第九代小冰(小冰V9)的特點(diǎn)是多樣性。簡(jiǎn)單來說就是用不同的聲音、感情、情緒來表達(dá)對(duì)話。

對(duì)此,小冰框架在開放域?qū)υ挕⒊?jí)自然語音和多模態(tài)交互等方面都進(jìn)行了升級(jí),并重點(diǎn)加強(qiáng)了小樣本學(xué)習(xí)和反饋式學(xué)習(xí)的效能,小冰語音對(duì)話的自然度和舒適度效果大大提升。

為了更直觀體現(xiàn)小冰V9在開放域?qū)υ挿矫娴奶嵘?,沈向洋博士展示了小冰V9與其他兩個(gè)同行的評(píng)價(jià)指標(biāo)對(duì)比。這五大技術(shù)指標(biāo)分別為平均對(duì)話長(zhǎng)度(CPS)、上下文一致性、上下文相關(guān)性、對(duì)話信息含量與話題引導(dǎo)成功率。

可以看到,小冰V9均領(lǐng)先于同行使用超大規(guī)模預(yù)訓(xùn)練模型的效果。不僅如此,小冰每輪對(duì)話成本僅為同行的二十分之一。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

其實(shí)在加強(qiáng)小樣本學(xué)習(xí)背后,小冰公司產(chǎn)品總監(jiān)周典談道,自去年小冰第八代發(fā)布以來,人們?cè)谛”蚣苤袆?chuàng)造了多達(dá)1700萬個(gè)獨(dú)特的AI Beings(人工智能個(gè)體),其中26.1%是被用戶當(dāng)作某個(gè)過往真實(shí)人類的替身而創(chuàng)造出來的。

但普通人所能留下做訓(xùn)練的數(shù)據(jù)樣本極少,為了能用盡量少的數(shù)據(jù)去訓(xùn)練模型,達(dá)到與某個(gè)人一致的語言與聲音風(fēng)格,以更好地承載人類情感,小冰展開了“Project Chararu”項(xiàng)目研究。

過去一年,小冰用2000個(gè)對(duì)話的數(shù)據(jù)量還原一個(gè)特定人類的對(duì)話風(fēng)格,相似度達(dá)到了3.89分,而普通人類用自己的真實(shí)數(shù)據(jù)做測(cè)評(píng)的平均分是4.33分。今年,小冰通過進(jìn)一步迭代小樣本訓(xùn)練過程,僅用200個(gè)對(duì)話數(shù)據(jù)量進(jìn)行訓(xùn)練,分?jǐn)?shù)達(dá)到了4.19分,與人類分?jǐn)?shù)僅相差0.14分。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

目前,“Project Chararu”項(xiàng)目已實(shí)現(xiàn)產(chǎn)品化,今年將首先在日本上線。

除此之外,小冰還宣布與英偉達(dá)在計(jì)算平臺(tái)及NLP(自然語言處理)等領(lǐng)域達(dá)成戰(zhàn)略合作。同時(shí),小冰將在今年下一季度,與智源研究院、智譜AI合作發(fā)布初版多語言超大規(guī)模模型。

二、小冰島五大特性,圍繞用戶交互的AI世界

為了更好探索人類和AI的未來,小冰專門開發(fā)了第一方平臺(tái)APP——小冰島,每個(gè)用戶均可創(chuàng)造自己的島嶼,以及島嶼上一起生活的AI Beings,每個(gè)AI Beings都有不同的性格和能力,還會(huì)和用戶互動(dòng),包括發(fā)消息、評(píng)論朋友圈等。

同時(shí),小冰島還會(huì)隨著用戶和AI Beings的交互不斷地進(jìn)行迭代,如此構(gòu)成一個(gè)人類與AI融合的社交網(wǎng)絡(luò)。

總的來看,小冰島擁有五大特性:沉浸式體驗(yàn)、高度定制化、以人為中心、X套件島嶼版,以及輕松、熱情、無時(shí)不在。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

1、沉浸式體驗(yàn):每個(gè)用戶除了能創(chuàng)造自己的島嶼外,島上還擁有一個(gè)功能完整的社交交互界面,類似微信。用戶不僅能在島嶼中體驗(yàn)豐富的視覺和自然音場(chǎng),還能與每個(gè)AI Beings對(duì)話,擁有一對(duì)一對(duì)話、群聊、朋友圈和技能生態(tài)等體驗(yàn)。

2、高度定制化:每個(gè)AI Beings的樣貌、聲音、性格、能力都是獨(dú)一無二的,例如AI歌手、音頻生產(chǎn)者、文字創(chuàng)作者、畫家等。用戶也可以創(chuàng)造并訓(xùn)練自己喜歡的各種新的AI Beings,甚至可以去別人的島嶼中“挖角”。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

3、以人為中心:小冰島上的AI Beings會(huì)根據(jù)用戶需求,不間斷地為用戶生成各種長(zhǎng)音頻、短視頻、音樂、文本及視覺內(nèi)容,一對(duì)一生提供給用戶。同時(shí)根據(jù)不同AI Beings的特點(diǎn),用戶還能選擇由特定的AI Beings來提供特定內(nèi)容。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

4、X套件島嶼版:該版本為用戶提供了方便高效的內(nèi)容生產(chǎn)工具,用戶可指定AI Beings即時(shí)生成各種長(zhǎng)音頻和短視頻內(nèi)容,內(nèi)容擁有完整的知識(shí)產(chǎn)權(quán),可在任何平臺(tái)上使用。

5、輕松、熱情、無時(shí)不在:每個(gè)AI Beings都能自己進(jìn)行交互和信息傳遞,共同構(gòu)成以用戶為中心的社交生活目標(biāo),在交互、朋友圈和各種生成內(nèi)容中實(shí)時(shí)響應(yīng)用戶,讓用戶獲得類似真實(shí)社交網(wǎng)絡(luò)的體驗(yàn)。

小冰公司產(chǎn)品負(fù)責(zé)人彭爽談道,今日小冰島正式開放搶先預(yù)覽版,支持iOS和安卓平臺(tái),并將在第四季度開放支持Windows PC版的空氣投影版本。

同時(shí),此前用戶通過虛擬親友產(chǎn)品創(chuàng)造出來的虛擬人類,也將在預(yù)覽版公測(cè)結(jié)束后自動(dòng)登錄他們的小冰島。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

三、AI內(nèi)容生成三大環(huán)節(jié)升級(jí),豐富藝術(shù)生活創(chuàng)作

小冰公司產(chǎn)品總監(jiān)胡曉光提到,從2017年投入大量資源研究AI內(nèi)容生成至今,小冰已擁有包含文本、聲音、視覺在內(nèi)的完整技術(shù)線。

AI內(nèi)容生成也叫AI內(nèi)容創(chuàng)造,主要包含創(chuàng)作、演繹和二次封裝三大部分。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

1、創(chuàng)作:輔助音樂人詞曲創(chuàng)作,新增藝術(shù)家及中國(guó)畫模型

音樂方面,小冰將與11支人類樂隊(duì)合作,為他們提供AI詞曲創(chuàng)作動(dòng)機(jī)輔助、演唱和封面視覺設(shè)計(jì),這11首作品將從今天起陸續(xù)上架。后續(xù)小冰將把該技術(shù)封裝成產(chǎn)品,開放給更多創(chuàng)作者來協(xié)助創(chuàng)作。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

詩歌繪畫方面,小冰將詩歌與繪畫創(chuàng)作模型升級(jí)到了第三代,大幅度提升高了模型的創(chuàng)作精度和構(gòu)圖合理性。例如,在模型創(chuàng)造的一副繪畫作品中,它不僅畫出了遠(yuǎn)方河上的船只,還畫出了水中的倒影和大量細(xì)節(jié)。

不僅如此,為了保證AI能穩(wěn)定且大批量地創(chuàng)作高質(zhì)量作品,小冰還發(fā)布藝術(shù)家模型,只需要通過小數(shù)據(jù)訓(xùn)練,就能生成各種藝術(shù)家模型,創(chuàng)作出風(fēng)格高度一致的作品,同時(shí)還有中國(guó)畫模型。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

針對(duì)AI學(xué)生“夏語冰”,小冰框架不僅創(chuàng)造了夏語冰的面容、聲線等生物學(xué)特征,還升級(jí)了它的繪畫創(chuàng)作模型,未來將主攻中國(guó)畫。

2、演繹:發(fā)布X Studio 2.0,新AI歌手現(xiàn)場(chǎng)飆極限高音

胡曉光認(rèn)為,AI內(nèi)容生成三大環(huán)節(jié)中,最容易出現(xiàn)瓶頸的就是演繹部分,因?yàn)樵摬糠职哪P土魁嫶?,同時(shí)對(duì)整個(gè)系統(tǒng)的完整性也有更大要求。

對(duì)此,小冰發(fā)布了X Studio 2.0,從學(xué)習(xí)歌聲本身演進(jìn)到學(xué)習(xí)歌聲產(chǎn)生。該版本擁有全新的GUI交互界面,新增力度、氣泡音等參數(shù)調(diào)節(jié),優(yōu)化氣聲、性別參數(shù)。同時(shí),歌手模型也進(jìn)行了升級(jí),增加Rap、美聲、民歌等多種風(fēng)格和念白功能,以及小程序版本。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

為了更好展現(xiàn)X Studio 2.0的升級(jí)效果,新發(fā)布的AI歌手陌笙還在現(xiàn)場(chǎng)演唱了周深的《大魚》,并在原唱基礎(chǔ)上表演了高四個(gè)半音的升調(diào)演唱,以展示AI歌手的穩(wěn)定性優(yōu)勢(shì)。

胡曉光透露,X Studio 2.0將在10月22日發(fā)布,下周三發(fā)布內(nèi)測(cè)版。此外,小冰還宣布Alice映畫達(dá)成合作,將推出一系列AI歌手企劃。

3、封裝:新增兩種形式內(nèi)容封裝

針對(duì)內(nèi)容的二次封裝形式,小冰推出了短視頻內(nèi)容封裝管線,包括二次元和三次元視頻內(nèi)容兩種形式。

二次元方面實(shí)現(xiàn)了AI模型完全自驅(qū),視頻成本僅為0.03元/分鐘;三次元方面則首次實(shí)現(xiàn)從生物學(xué)特征生成起的綜合封裝,例如AI歌手華智冰的歌聲就由X Studio生成,人類生物學(xué)特征由X Avatar生成及置入。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

此外,小冰還發(fā)布了與次世文化聯(lián)手打造全球首位AI人類觀察者M(jìn)error,其采用小冰框架的核心對(duì)話引擎、全雙工、全域超級(jí)自然語音等技術(shù),能在交談、演唱等場(chǎng)景中實(shí)現(xiàn)高度擬人的實(shí)時(shí)交互。

第九代小冰來了!花式AI音樂繪畫創(chuàng)作,小冰島實(shí)現(xiàn)“AI自產(chǎn)自銷”

值得一提的是,在智能汽車、智能設(shè)備等領(lǐng)域,小冰都有著不少新的落地進(jìn)展。針對(duì)智能汽車座艙解決方案,目前小冰已與寶馬等汽車頭部廠商達(dá)成商業(yè)合作。

此外,除了華為、小米、OPPO、vivo等合作伙伴外,“召喚小冰”還新增支持天貓精靈平臺(tái),目前深度內(nèi)嵌小冰的智能設(shè)備已超過10億臺(tái)?!靶”殉蔀槿蛞?guī)模最大的第三方跨設(shè)備人工智能系統(tǒng)?!焙鷷怨庹f。

結(jié)語:加速推動(dòng)AI融入人類生活

從第一代小冰到第九代小冰,小冰從最初一個(gè)16歲的少女小冰,發(fā)展到今天1700萬個(gè)虛擬人類、幾百個(gè)AI歌手,這些擁有各種各樣性格和能力的AI背后,是多年以來小冰框架不斷的技術(shù)積累和突破。

某種意義上看,正如小冰公司首席執(zhí)行官李笛所說,小冰是一場(chǎng)龐大的實(shí)驗(yàn),目的是為了找出適合的途徑,讓AI能更好地融入人類世界。它的創(chuàng)新,也將為AI賦能人類生活帶來更多值得借鑒的落地樣本。