智東西(公眾號(hào):zhidxcom)
作者 | ?ZeR0
編輯 | ?漠影

智東西5月18日?qǐng)?bào)道,今日,云從科技推出從容大模型,并現(xiàn)場(chǎng)演示了從容大模型在問答、寫命題作文、意圖理解、多輪對(duì)話、英文寫作、機(jī)器翻譯、編程、圖文跨模態(tài)理解、做中考真題等方面的能力。目前從容大模型處于內(nèi)測(cè)階段。

根據(jù)演示,從容大模型對(duì)一本預(yù)先上傳好的大約有五六百頁的《大話西方藝術(shù)史》書籍進(jìn)行了深度理解,包括詢問書籍相關(guān)內(nèi)容、總結(jié)這是一本什么樣的書、找到指定要求的圖等。

經(jīng)過對(duì)從容大模型、ChatGPT、GPT-4做去年中考真題的能力進(jìn)行測(cè)試,云從從容比ChatGPT的答題速度更快,答歷史、生物題的得分略低于ChatGPT,答地理題的得分與ChatGPT持平,答政治題、道德與法制題的表現(xiàn)比ChatGPT更好。目前GPT-4.0的水平明顯優(yōu)于其他系統(tǒng)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

現(xiàn)場(chǎng),大模型信創(chuàng)生態(tài)聯(lián)盟正式成立,成員包括優(yōu)刻得、廈門文旅、華為昇騰、南沙公控、CSDN、眾數(shù)信科等,旨在促進(jìn)大模型技術(shù)的創(chuàng)新和發(fā)展,推動(dòng)人工智能在各個(gè)行業(yè)應(yīng)用。

云從科技也將分別與中國中檢、神舟信息、深圳報(bào)業(yè)、佳都科技、金世緣、游族網(wǎng)絡(luò)、艾登科技合作,推出質(zhì)量大模型、金融大模型、文娛大模型、交通大模型、制造大模型、游戲大模型、醫(yī)療大模型等。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

一、基礎(chǔ)能力演示:支持圖文跨模態(tài)理解,做中考題速度比ChatGPT快

從容大模型的對(duì)話界面跟ChatGPT差不多。云從科技技術(shù)管理部總監(jiān)葉懋現(xiàn)場(chǎng)進(jìn)行了從容大模型的基礎(chǔ)能力演示。

問答方面,從容大模型的回復(fù)風(fēng)格偏簡(jiǎn)潔、實(shí)在,能夠避開一些陷阱題挖的坑。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

寫作方面,針對(duì)去年四川省的一個(gè)中考作文題“以最美的顏色為題寫一篇不少于600字的作文”,從容大模型現(xiàn)場(chǎng)寫出一篇作文。向它提出更多修改或限定要求,比如用白色改寫、要求更有深度、改成以一個(gè)患病小孩的視角寫最美的顏色來自于醫(yī)護(hù)人員的白大褂等等之后,從容大模型能夠理解意圖并展現(xiàn)出多輪對(duì)話的能力。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

英文寫作方面,從容大模型現(xiàn)場(chǎng)創(chuàng)作了一篇英文招領(lǐng)啟事,并根據(jù)要求修改了落款。要求它翻譯成中文后,它首先給出的回復(fù)是偏生硬的直譯,接著按照“用中文習(xí)慣改寫”的新要求改寫了這篇啟事。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

編程方面,從容大模型先展示了寫代碼的能力,寫出一段快速排序的代碼。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

向它提出相對(duì)專業(yè)些的話題,“這段代碼的時(shí)間復(fù)雜度是多少”,從容大模型的回復(fù)沒什么毛病。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

要求加上代碼注釋,它也能快速完成。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

再提高點(diǎn)難度,讓它寫出C++程序員能看懂的代碼,它不僅完成了任務(wù),還按照前面的要求添加有注釋。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

閱讀理解方面,從容大模型支持對(duì)長(zhǎng)文檔或者多文檔聚合進(jìn)行理解,并支持圖文跨模態(tài)理解。

云從技術(shù)人員預(yù)先上傳了一本大概有五六百頁的《大話西方藝術(shù)史》書籍,從容大模型對(duì)這本書的內(nèi)容進(jìn)行了深度理解,接著就能基于這本書所涉及的知識(shí)范疇與用戶進(jìn)行互動(dòng),包括詢問書籍相關(guān)內(nèi)容、總結(jié)這是一本什么樣的書等。

如下圖所示,界面中間部分是書籍的正文,右邊是對(duì)話交互界面,從容大模型準(zhǔn)備了一些提問樣例,點(diǎn)擊某個(gè)樣例后,它就會(huì)實(shí)時(shí)生成回復(fù),并附有回復(fù)內(nèi)容相關(guān)的一些線索。點(diǎn)擊這些線索就會(huì)鏈接到書中對(duì)應(yīng)的段落位置。從容大模型也能夠理解圖像,因此用戶可以描述想要的圖片,讓它在書中找出來。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

解題方面,云從科技對(duì)從容大模型、ChatGPT、GPT-4做2022年各學(xué)科中考真題的能力進(jìn)行了測(cè)試。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

從測(cè)試結(jié)果來看,云從從容比ChatGPT的答題速度更快,答歷史、生物題的得分略低于ChatGPT,答地理題的得分與ChatGPT持平,答政治題、道德與法制題的表現(xiàn)比ChatGPT更好。目前GPT-4.0的水平明顯優(yōu)于其他系統(tǒng)。

二、行業(yè)應(yīng)用示例:城運(yùn)治理、設(shè)備維修、金融運(yùn)營(yíng)、政策解答

要讓從容基礎(chǔ)大模型真正用起來,需要構(gòu)建行業(yè)大模型。

云從科技聯(lián)合創(chuàng)始人、廣東公司總經(jīng)理姚志強(qiáng)分享了從容大模型在基層治理場(chǎng)景的應(yīng)用,比如面向民眾服務(wù)的一語智辦、面向公務(wù)員及網(wǎng)格隊(duì)伍的智治精靈、面向應(yīng)用開發(fā)者的編程助手、面向城運(yùn)治理中心的融合指揮。

現(xiàn)場(chǎng)大屏播放了針對(duì)城運(yùn)治理中心場(chǎng)景的城運(yùn)智慧大屏AI精靈演示。比如指揮員提出“把第五個(gè)屏幕移動(dòng)到中間”,AI理解了指令并迅速執(zhí)行。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

指揮員又提問“這個(gè)周邊人和車多嗎”,AI大模型隨即借助多模態(tài)能力,自動(dòng)分析人流車況,選取周邊人和車最多的幾路視頻畫面,并告知“依據(jù)視頻內(nèi)容,湖泊周邊交通狀態(tài)良好,但存在車輛占道違停現(xiàn)象,同時(shí)部分位置人員較為擁擠,建議安排安保人員維持秩序”。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

指揮員繼續(xù)提問:“今天對(duì)市民游玩有什么建議?”AI大模型回復(fù)了天氣狀況,并給出“適合出游”、“做好防曬”的建議。

面向設(shè)備維修管理場(chǎng)景的例子,是云從科技基于行業(yè)大模型做的智能維修伴隨系統(tǒng)。

維修計(jì)劃有兩個(gè)來源:一是基于設(shè)備分類,設(shè)備歷史的維修記錄以及最近的生產(chǎn)計(jì)劃等會(huì)綜合自動(dòng)形成一個(gè)維檢修計(jì)劃;二是巡檢機(jī)器人或探頭會(huì)在機(jī)器人巡檢過程中發(fā)現(xiàn)某地方有個(gè)問題,這個(gè)問題可能是臨時(shí)性的,它會(huì)知道有什么故障、可能性是什么、是否需要發(fā)送一個(gè)維修請(qǐng)求。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

在維修準(zhǔn)備環(huán)節(jié),大模型基于之前針對(duì)維修手冊(cè)、維修記錄、專家建議的理解,逐漸成長(zhǎng)為一個(gè)維修的“老師傅”。在維修前,系統(tǒng)會(huì)提供一個(gè)包括圖文、音視頻、維修關(guān)鍵要點(diǎn)的完整預(yù)習(xí)課程,方便維修工程師預(yù)習(xí)要維修的設(shè)備可能是什么故障、故障是由什么導(dǎo)致的、應(yīng)該帶什么工具、采用什么修、換什么備件等等。

在維修過程中,云從智能維修伴隨系統(tǒng)提供兩個(gè)典型的解決方案:一是“指導(dǎo)”,工程師可以問大模型設(shè)備故障應(yīng)該怎么修;二是“監(jiān)督”,大模型可以監(jiān)測(cè)工程師的維修動(dòng)作是否規(guī)范、有沒有遺漏重要修程。

在維修工單關(guān)閉時(shí),無需工人自己寫,系統(tǒng)會(huì)根據(jù)全程的視頻記錄自動(dòng)解析,形成一個(gè)圖文的維修記錄,并伴有這次維修中的核心視頻內(nèi)容,以便進(jìn)行維修復(fù)盤和對(duì)后續(xù)維修提供知識(shí)源。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

面向金融場(chǎng)景,大模型能夠提升銀行內(nèi)部的業(yè)務(wù)運(yùn)營(yíng)效率。從容大模型可將銀行海量的數(shù)據(jù)資源,轉(zhuǎn)化為更有價(jià)值的信息,突破了專業(yè)知識(shí)的供給瓶頸,有助于提升銀行在普惠金融、銀行運(yùn)營(yíng)能力、服務(wù)實(shí)體經(jīng)濟(jì)方面的能力?,F(xiàn)場(chǎng)演示了AI虛擬客戶經(jīng)理回答理財(cái)相關(guān)專業(yè)問題的表現(xiàn)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

相比通用大模型,用本地知識(shí)庫進(jìn)行優(yōu)化的行業(yè)大模型能夠提供更專業(yè)嚴(yán)謹(jǐn)?shù)幕卮?,避免出現(xiàn)胡編亂造的情況。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

海關(guān)政策AI精靈為例,海關(guān)政策AI精靈基于海關(guān)總署2000多份材料,形成本地的知識(shí)庫,通過語義分割、語義檢索、prompt learning等技術(shù),為從容大模型構(gòu)造了精準(zhǔn)的提示詞,進(jìn)而能夠充分發(fā)揮大模型的能力,為用戶提供準(zhǔn)確的政策解答。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

云從科技內(nèi)部還孵化了若干大模型應(yīng)用創(chuàng)業(yè)項(xiàng)目,比如大麥數(shù)字人直播平臺(tái)能夠?qū)崿F(xiàn)直播間智能搭建、直播預(yù)熱語料提供等功能。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

面向教育場(chǎng)景,智能教育AI精靈能夠基于現(xiàn)有課程教綱、題庫等基礎(chǔ)模型,形成自生題庫,根據(jù)學(xué)生平時(shí)表現(xiàn)生成定制習(xí)題及學(xué)習(xí)計(jì)劃,并能夠通過學(xué)生表現(xiàn)自動(dòng)生成對(duì)應(yīng)的綜合評(píng)價(jià)分析,減少老師日常工作負(fù)擔(dān)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

結(jié)語:未來幾年,技術(shù)會(huì)不斷解鎖場(chǎng)景

在展示出語言、數(shù)學(xué)、推理等基礎(chǔ)通識(shí)能力后,大模型正在走向行業(yè),展現(xiàn)出在金融、法律、醫(yī)學(xué)、政策等專業(yè)知識(shí)領(lǐng)域的應(yīng)用潛能。

云從科技董事長(zhǎng)兼總經(jīng)理周曦認(rèn)為,大模型將顛覆傳統(tǒng)交互方式,主要以問答、伴隨、托管三種形式呈現(xiàn)。其中,“問答”即當(dāng)前的GPT;“伴隨”即AI會(huì)像一個(gè)朋友一樣,伴隨你執(zhí)行很多的事情;“托管”即一件事主要交給AI來做,類似在網(wǎng)游中的“掛機(jī)訓(xùn)練”。能走到“托管”這一步,人就可以解放出來,做更多有意義、有興趣的事。

他談道,有了整個(gè)平臺(tái)框架,通過基礎(chǔ)大模型構(gòu)造了基礎(chǔ)能力后,可以不斷增加行業(yè)大模型的技能包,那么就能構(gòu)造出更加強(qiáng)大的行業(yè)系統(tǒng)。這個(gè)系統(tǒng)可服務(wù)于To G、To B、To C的各行各業(yè)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

在周曦看來,沒有強(qiáng)大的基礎(chǔ)大模型,直接做行業(yè)大模型,不具有長(zhǎng)期持續(xù)的生命力,因?yàn)橐胱屝袠I(yè)大模型足夠?qū)嵱?,需要反過來訓(xùn)練基礎(chǔ)大模型,如果想要讓行業(yè)大模型真正在產(chǎn)業(yè)上量產(chǎn)使用,必須將效率和成本控制做到極致,而極致優(yōu)化必須要掌握基礎(chǔ)大模型。

此外,未來產(chǎn)業(yè)的突破伴隨不斷的技術(shù)突破而進(jìn)行,行業(yè)應(yīng)用不是簡(jiǎn)單的靠創(chuàng)意來解鎖,而是技術(shù)解鎖的。未來幾年,技術(shù)會(huì)不斷解鎖場(chǎng)景,場(chǎng)景方也會(huì)不斷探索如何重構(gòu)行業(yè)的效率和體驗(yàn)。