智東西（公眾號(hào)：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西1月16日?qǐng)?bào)道，在今日舉辦的智譜AI技術(shù)開放日上，國內(nèi)當(dāng)前估值最高的AI大模型獨(dú)角獸智譜AI發(fā)布了新一代基座大模型GLM-4，性能比上一代提升接近60%，整體評(píng)測(cè)結(jié)果逼近GPT-4，支持更長的上下文、更強(qiáng)的多模態(tài)、更快速的推理、更多的并發(fā)，大大降低推理成本，同時(shí)GLM-4也增強(qiáng)了其智能體（Agent）的能力。
智譜AI CEO張鵬稱，圍繞GLM預(yù)訓(xùn)練框架，智譜AI形成了一個(gè)相對(duì)完整的大模型全棧技術(shù)體系架構(gòu)，功能覆蓋多模態(tài)、代碼生成、搜索增強(qiáng)和對(duì)話，對(duì)標(biāo)OpenAI的全棧大模型生態(tài)。
“我們努力趕上，同時(shí)我們也謙虛地承認(rèn)，自己還存在著一定的差距，但不懈努力讓我們開始逐漸形成我們自己的創(chuàng)新的特色，也借助于此逐漸縮小與頂尖水平的差距?！睆堸i說。
除了帶來基座模型GLM-4之外，智譜AI還推出GLM-4 All Tools，實(shí)現(xiàn)了根據(jù)用戶意圖自動(dòng)理解、規(guī)劃復(fù)雜指令，自由調(diào)用文生圖、代碼解釋器、網(wǎng)頁瀏覽、Function Call等多項(xiàng)工具來完成復(fù)雜任務(wù)。這意味著GLM系列模型的全家桶能力實(shí)現(xiàn)工業(yè)化，開發(fā)者及用戶可以更輕松地使用GLM-4模型，不再為提示詞而擔(dān)心。
GLMs個(gè)性化智能體定制功能和智能體中心同時(shí)上線?；贕LM-4模型，用戶只要登陸智譜清言觀望，使用簡單的提示詞指令就能創(chuàng)建屬于自己的智能體。在智能體中心中，用戶可分享各種智能體。沒有編程基礎(chǔ)的用戶也能實(shí)現(xiàn)大模型的便捷開發(fā)。
有興趣體驗(yàn)的用戶可登陸智譜清言官網(wǎng)或App。GLMs模型應(yīng)用商店、開發(fā)者分成計(jì)劃也將同期公布。
GLM-4登陸了MaaS平臺(tái)，提供各式API訪問。同時(shí)，智譜AI邀請(qǐng)開發(fā)者參與GLM-4 Assistent API內(nèi)測(cè)，并將為報(bào)名的小伙伴贈(zèng)送千萬級(jí)token，也邀請(qǐng)大家一起開發(fā)屬于自己的GLM應(yīng)用。
從ChatGLM一代、二代、三代至今，智譜AI幾乎開源了所有內(nèi)核的模型，包括千億基座模型、搜索增強(qiáng)模型、圖形理解模型、代碼模型、文圖生成模型、圖形增強(qiáng)理解模型、可視化認(rèn)知Agent模型。張鵬希望這些模型能夠幫助大家深入認(rèn)知大模型的技術(shù)，而不是簡單的僅僅會(huì)用，進(jìn)而幫助大家一起探索大模型技術(shù)的未來。
現(xiàn)場，張鵬還分享了智譜AI聯(lián)合發(fā)起的多個(gè)大模型基金，包括CCF-智譜大模型基金、SMP-智譜大模型交叉學(xué)科基金、大模型開源基金、10億元“Z計(jì)劃”創(chuàng)業(yè)基金，為大模型的相關(guān)科研與早期創(chuàng)業(yè)提供資助。
一、GLM-4：性能逼近GPT-4，支持128k上下文，多模態(tài)能力升級(jí)
智譜AI新一代基座大模型GLM-4，整體大模型評(píng)測(cè)結(jié)果接近GPT-4。
在大規(guī)模多任務(wù)語言理解評(píng)測(cè)中，GLM-4得分遠(yuǎn)超GPT-3.5，平均達(dá)到GPT-4的95%的水平，個(gè)別項(xiàng)目上已幾乎持平；在GSM8K數(shù)學(xué)評(píng)測(cè)數(shù)據(jù)集上，GLM-4的評(píng)測(cè)結(jié)果與GPT-4有4.6%的差距；在MATH數(shù)據(jù)集上，GLM-4得分比GPT-3.5多15%，比GPT-4少9%。
谷歌推出的AI基準(zhǔn)測(cè)試套件BBH可評(píng)估語言模型在各種復(fù)雜任務(wù)上的性能，在這項(xiàng)評(píng)測(cè)中，GLM-4得分遠(yuǎn)超GPT-3.5，距離GPT-4只差不到1%；在OpenAI編寫發(fā)布的代碼生成評(píng)測(cè)數(shù)據(jù)集HumanEval上，GLM-4的水平超過GPT-3.5和GPT-4。
在跨語言中英文混合評(píng)測(cè)中，GLM-4在Prompt級(jí)別、中文的成績達(dá)到GPT-4的88%。在指令跟隨方面，GLM-4的能力達(dá)到了GPT-4的90%，遠(yuǎn)超GPT-3.5。
在中文對(duì)齊能力方面，智譜AI有一個(gè)單獨(dú)的全面對(duì)標(biāo)分析，包括公開的AlignBench和一個(gè)沒有公開的內(nèi)部的測(cè)試數(shù)據(jù)集。在AlignBench上，總體GLM-4得分超過了GPT-4 6月13日發(fā)布版本，逼近最新的GPT-4 Turbo版本效果，在專業(yè)能力、中文理解、角色扮演等方面甚至超過最新GPT-4的進(jìn)度，在中文推理方面則還需進(jìn)一步提升和加強(qiáng)。
GLM-4可支持128k上下文窗口，單次提示可處理300頁文本。同時(shí)，其技術(shù)團(tuán)隊(duì)解決了上下文全局信息因失焦而導(dǎo)致的精度下降問題，在“大海撈針”測(cè)試中，GLM-4模型能做到幾乎100%的精準(zhǔn)召回。
多模態(tài)方面，GLM-4的文生圖和多模態(tài)理解都得到進(jìn)一步加強(qiáng)，推出全新的CogView3，效果超過開源的SDXL模型，逼近OpenAI的DALL·E 3。在對(duì)齊、保真、安全、組合布局等各個(gè)評(píng)測(cè)維度上，CogView3都做到DALL·E 3 90%以上的水平，平均可以達(dá)到95%的相對(duì)性能。
CogView3能夠很好地生成手部圖像，其語義能力也進(jìn)一步增強(qiáng)，可準(zhǔn)確理解“魚眼鏡頭”這樣容易被機(jī)器會(huì)錯(cuò)意的概念，對(duì)顏色、場景、空間位置的理解也都很準(zhǔn)確。
使用GLM-4V開源模型，你可以做很多有意思的事情，比如給定一個(gè)截圖的網(wǎng)頁表格，讓它轉(zhuǎn)化成markdown格式，這樣就能直接復(fù)制粘貼到需要用到的地方。輸入一張繪畫，它也能準(zhǔn)確理解圖中所表達(dá)的信息。
智譜AI最近還提出了CogAgent模型，通過UI截圖輸入來理解圖中的每一處信息，根據(jù)用戶提問告知下一步完成相應(yīng)的任務(wù)需要點(diǎn)擊哪里，或者做出怎樣的操作。這是智譜將來會(huì)著重投入的方向：從多模態(tài)走向智能助手，讓機(jī)器能直接理解屏幕上的文字、圖像和信號(hào)，不需要轉(zhuǎn)化成一個(gè)個(gè)token輸入到模型中，如果能完成這樣一件事，將極大解放勞動(dòng)力。
智譜AI希望未來讓CogAgent理解各種屏幕，例如手機(jī)屏幕或其他的知識(shí)和圖表，用多模態(tài)改變?nèi)藗兊纳睢Ｆ鋱F(tuán)隊(duì)預(yù)測(cè)，多模態(tài)模型可能在1~2年內(nèi)能夠全面超越人類的視覺識(shí)別能力。
二、GLM-4 All Tools全家桶、GLMs智能體中心上線！不會(huì)編程也能定制專屬Agent
針對(duì)令許多開發(fā)者及普通用戶犯難的“AI咒語”提示詞問題，智譜AI推出GLM-4 All Tools全家桶。
GLM-4 All Tools實(shí)現(xiàn)了根據(jù)用戶意圖自動(dòng)理解、規(guī)劃復(fù)雜指令，自動(dòng)調(diào)用文生圖、代碼解釋器、網(wǎng)頁瀏覽、Function Call等功能，組合起來完成復(fù)雜任務(wù)。
只需輸入一個(gè)指令，GLM-4就會(huì)自動(dòng)分析指令，結(jié)合上下文選擇決定調(diào)用合適的工具。這也是OpenAI近期推出的GPTs的一項(xiàng)基礎(chǔ)能力。
張鵬說，這意味著GLM系列模型的全家桶能力終于實(shí)現(xiàn)了，開發(fā)者和用戶可以更輕松地使用GLM-4的模型，不再為提示詞而擔(dān)心。
以文生圖為例，輸入“畫一個(gè)卡通柯基”的提示，再在后續(xù)新增“它開始跑步了”、“一只小兔子加入它一起”、“它跑的越來越快了”等一連串追加的提示詞，CogView3能準(zhǔn)確接收用戶的意思，實(shí)現(xiàn)故事化的自動(dòng)連續(xù)生成，語義非常準(zhǔn)確。
現(xiàn)場還演示了讓GLM-4畫出滿足讓柯基狗“給它讀很多書 變聰明”、“讓它學(xué)習(xí)使用電腦”等提示詞的圖像，美中不足的是在演示時(shí)，每次圖像生成的等待時(shí)間有點(diǎn)長。
同樣，GLM-4能自動(dòng)調(diào)用代碼解釋器進(jìn)行復(fù)雜方程或微分積分的求解，對(duì)比GSM8K、MATH和Math23K這三個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果，GLM-4取得了與GPT-4相當(dāng)?shù)男阅堋?/p>
GLM-4通過自動(dòng)調(diào)用Python解釋器，自動(dòng)寫出求解的代碼，然后運(yùn)行求解。加入代碼解釋器后，輸出的不僅僅是文本和代碼，也可以是圖像文件等。
除了解決數(shù)據(jù)問題外，GLM All Tools能力完全自動(dòng)化，可以完成文件處理、數(shù)據(jù)分析、圖表繪制等一系列復(fù)雜任務(wù)?？商幚淼奈募愋桶ǔＲ姷腅xcel、PDF、PPT等格式。
還有自動(dòng)網(wǎng)頁瀏覽，GLM-4模型可根據(jù)任務(wù)自行規(guī)劃檢索任務(wù)，自行選擇信息源，自行與信息源交互。
比如告訴模型你要參加某個(gè)大會(huì)，向它詢問當(dāng)?shù)靥鞖鉅顩r，但并沒有告訴它大會(huì)在哪里舉行，這時(shí)它會(huì)自動(dòng)檢索大會(huì)日期和地點(diǎn)，然后告訴你準(zhǔn)確的答案。
“GLM-4 All Tools的網(wǎng)頁瀏覽準(zhǔn)確率已經(jīng)超過了GPT-4，值得我們的自豪?！睆堸i說。
在多跳式問答的復(fù)雜場景中，僅通過一次檢索可能無法檢測(cè)到有效信息，此時(shí)傳統(tǒng)檢索生成方法就存在較大的局限性。而GLM-4 All Tools的高級(jí)聯(lián)網(wǎng)功能，使得模型的自主信息收集能力變得更強(qiáng)大。據(jù)介紹，其方案相比GPT-4的Web browsing功能也有比較明顯的優(yōu)勢(shì)。
Function Call方面，GLM-4 All Tools可根據(jù)用戶提供的function描述，自動(dòng)選擇所需function生成參數(shù)，并根據(jù)function的返回值生成回復(fù)，支持一次輸入進(jìn)行多次function的調(diào)用，和支持包含中文以及特殊符號(hào)命名的function的調(diào)用。這方面的能力與GPT-4已基本持平，而且在中文理解上更強(qiáng)，英文能力稍差，總體上達(dá)到持平。
來看一個(gè)多工具自動(dòng)調(diào)用的例子，比如可以問它智譜DevDay的宣傳語，讓它畫一幅突出宣傳語的場景圖，模型自動(dòng)進(jìn)行搜索，找到一些相關(guān)發(fā)布的頁面，從中總結(jié)和識(shí)別宣傳語內(nèi)容，進(jìn)而生成一張能還原宣傳語意境的圖片。
再來看另一個(gè)例子。GLM-4可查詢過去10年中的全球GDP數(shù)據(jù)并進(jìn)行直觀展示，它能識(shí)別語義并聯(lián)網(wǎng)，對(duì)多個(gè)數(shù)據(jù)源進(jìn)行檢索，生成一段代碼，把找到的數(shù)據(jù)可視化，生成一張簡單的圖表。只要一句簡單的輸入，就能啟動(dòng)聯(lián)網(wǎng)搜索、提取代碼解釋器、繪圖等多項(xiàng)模型原生能力。
還可以讓GLM-4搭建一個(gè)多項(xiàng)式回歸預(yù)測(cè)模型，預(yù)測(cè)未來5年全球GDP的發(fā)展態(tài)勢(shì)，并把預(yù)測(cè)結(jié)果以紅色的標(biāo)記加入到原有的圖表中，以便更加直觀地看到發(fā)展趨勢(shì)。
“GLM-4的權(quán)限提升，使得我們有機(jī)會(huì)探索真正意義上的GLMs?！睆堸i說，登陸智譜清言官網(wǎng)或App，智譜AI已經(jīng)為大家預(yù)設(shè)了一個(gè)智譜DevDay智能體，你可以自己上手體驗(yàn)，詢問一些跟今天大會(huì)相關(guān)的事宜，比如日程、有哪些主題演講、演講PPT文件下載鏈接等等。
創(chuàng)建這樣一個(gè)簡單的智能體，只需要3分鐘，把大會(huì)的會(huì)議日程、嘉賓信息當(dāng)作外部輸入知識(shí)放進(jìn)知識(shí)庫，就能自動(dòng)生成智能體。
以后大家自己組織活動(dòng)，也可以來定制一個(gè)這樣的智能體，讓智譜清言幫你與參會(huì)者進(jìn)行溝通。
接著，張鵬宣布，GLMs個(gè)性化智能體定制能力上線。
基于GLM-4模型，用戶只要登陸智譜清言官網(wǎng)，用簡單的提示詞指令就能創(chuàng)建屬于自己的智能體。在其智能體中心中，用戶可分享自己創(chuàng)建的各種智能體。
張鵬說，GLM模型智能體的推出，標(biāo)志著任何人都能夠自由運(yùn)用GLM-4模型并挖掘其潛力，即使沒有任何編程語言的基礎(chǔ)，也能夠?qū)崿F(xiàn)大模型的便捷開發(fā)，這也是智譜AI擴(kuò)大大模型開發(fā)者社區(qū)生態(tài)的一次進(jìn)步。
三、發(fā)起多個(gè)大模型基金，支持科研與創(chuàng)業(yè)探索
張鵬談道，智譜AI源自清華科技成果轉(zhuǎn)化，非常重視科研突破和源頭創(chuàng)新，也希望無私回饋科研界，因此聯(lián)合CCF中國計(jì)算機(jī)學(xué)會(huì)，發(fā)起CCF-智譜大模型基金，圍繞預(yù)訓(xùn)練大模型的理論、算法、模型應(yīng)用等相關(guān)的研究提供資助。
與此同時(shí)，智譜AI聯(lián)合中國中文信息學(xué)會(huì)、社會(huì)媒體處理專委會(huì)聯(lián)合發(fā)起了SMP-智譜大模型交叉學(xué)科基金，支持探索大模型與各領(lǐng)域交叉的創(chuàng)新，促進(jìn)大模型與各類學(xué)科的有機(jī)的融合。
所有科研基金參與者擁有自己研發(fā)的知識(shí)產(chǎn)權(quán)。這兩支基金在2023年為來自全國30余所高校參與的41個(gè)研究項(xiàng)目累計(jì)提供了超過1000萬元現(xiàn)金和算力資源的科研支持，學(xué)者們的學(xué)科背景也豐富多元。張鵬相信，學(xué)術(shù)創(chuàng)新是中國大模型事業(yè)持續(xù)發(fā)展創(chuàng)新的原動(dòng)力之一。
2024年，面向開源社區(qū)，智譜AI發(fā)起大模型開源基金，旨在推動(dòng)大模型研發(fā)的發(fā)展，促進(jìn)大模型開源生態(tài)的繁榮。
該開源基金可用3個(gè)“1000”來概括：第一個(gè)“1000”是智譜將為大模型開源社區(qū)提供1000張卡，助力開源開發(fā)；第二個(gè)“1000”是智譜將提供1000萬元現(xiàn)金來支持大模型相關(guān)開源項(xiàng)目；第三個(gè)“1000”是智譜將為優(yōu)秀的開源項(xiàng)目開發(fā)者提供1000億免費(fèi)API的tokens。
張鵬說，中國人工智能事業(yè)的繁榮發(fā)展需要產(chǎn)業(yè)鏈上下游、合作伙伴、開發(fā)者社區(qū)和學(xué)術(shù)界所有參與者一同努力。面向全球，智譜AI與生態(tài)伙伴聯(lián)合設(shè)立并發(fā)布10億元“Z計(jì)劃”創(chuàng)業(yè)基金，支持大模型早期創(chuàng)業(yè)者的創(chuàng)新探索，覆蓋大模型算法、底層算子、芯片優(yōu)化、行業(yè)大模型、超級(jí)應(yīng)用等各方面。
此前智譜AI已向相關(guān)企業(yè)投入數(shù)億元人民幣，支持了數(shù)十家企業(yè)，比如面壁智能是國內(nèi)最早從事也是最懂Agent的大模型公司，基流科技曾有過上萬張GPU卡集群建設(shè)的項(xiàng)目經(jīng)驗(yàn)。
四、堅(jiān)守開源，已擁有2000多家合作伙伴
回首來時(shí)路，張鵬說，智譜AI成立于2019年，從清華園走出，當(dāng)時(shí)才20多人，立下「讓機(jī)器像人一樣思考」的愿景。從探索算法到開始訓(xùn)練，從十億、百億到千億級(jí)模型，再到逐步實(shí)現(xiàn)產(chǎn)業(yè)化應(yīng)用落地，智譜一路走到今天。
回顧大模型過往發(fā)展歷程，2017年，谷歌提出Transformer機(jī)器學(xué)習(xí)模型架構(gòu)，這成為自然語言處理（NLP）等相關(guān)研究的主要方法。
2018~2020年是大模型算法創(chuàng)新階段，先后出現(xiàn)了BERT、GPT、T5等基于無標(biāo)注數(shù)據(jù)自監(jiān)督學(xué)習(xí)的大規(guī)模訓(xùn)練模型算法，這些算法模型擁有較大規(guī)模的參數(shù)，具備了較強(qiáng)的通用化能力，可完成多場景任務(wù)，顯著降低學(xué)習(xí)成本，提升了學(xué)習(xí)效率。智譜也在這一階段研發(fā)了自己的算法。
2020年~2022年是一場模型之戰(zhàn)，基于預(yù)訓(xùn)練模型框架和開源項(xiàng)目，各種模型如雨后春筍般誕生。2020年的GPT-3擁有1750億個(gè)參數(shù)，可以視作該階段的起點(diǎn)，開啟了基座模型的全新時(shí)代。隨后全球掀起一股大模型研究和研發(fā)熱潮。智譜AI在2022年開源了千億級(jí)基座模型GLM-130B，這一工作吸引了全世界的關(guān)注。
2023年，大模型開始火出圈，在金融、能源、教育等眾多行業(yè)開始落地，被公眾廣為所知，智譜AI聯(lián)合合作伙伴實(shí)現(xiàn)廣泛的商業(yè)應(yīng)用落地。基于GLM-130B研發(fā)的ChatGLM-130B，是當(dāng)時(shí)國內(nèi)最先可線上使用的千億級(jí)Chat模型。
張鵬坦言，和國外大模型相比，國內(nèi)的大模型發(fā)展起步晚了一些，加上高性能算力限制、數(shù)據(jù)質(zhì)量的差距等，國內(nèi)大模型在規(guī)模和核心能力上都與世界先進(jìn)水平存在一定差距，這樣的差距大約在一年左右。
今天，智譜AI交出了新的階段性答卷，也希望以此為起點(diǎn)，未來瞄向通用人工智能（AGI）。
張鵬說，智譜GLM系列模型基本對(duì)標(biāo)OpenAI的GPT系列模型，但更加開放，所有模型和技術(shù)細(xì)節(jié)都進(jìn)行了論文發(fā)表和開源。在斯坦福大學(xué)對(duì)全球30多個(gè)大模型的評(píng)測(cè)報(bào)告中，智譜GLM-130B是亞洲唯一入選的模型，在準(zhǔn)確性、公平性等指標(biāo)上接近GPT-3，在魯棒性、校準(zhǔn)誤差、無偏性等指標(biāo)上優(yōu)于GPT-3。
2023年ChatGLM經(jīng)歷了3個(gè)版本的迭代，逐步具備多模態(tài)理解、代碼解釋、網(wǎng)絡(luò)搜索增強(qiáng)等新功能，智譜不僅開發(fā)了其最大的模型商用版本，也有開源版本，ChatGLM-6B開源模型迄今全球下載量累計(jì)超過千萬，在開源趨勢(shì)榜單上排名超過Meta Llama大語言模型。
去年，智譜AI團(tuán)隊(duì)獲得了Hugging Face全球最受歡迎的開源機(jī)構(gòu)排行榜第五名，超過OpenAI、谷歌、微軟，是國內(nèi)唯一上榜的機(jī)構(gòu)。開發(fā)者們?cè)谥亲V的開源模型上開發(fā)出了600多項(xiàng)優(yōu)秀的大模型應(yīng)用開源項(xiàng)目。
在商業(yè)化成績方面，智譜AI在市場上率先提出了MaaS商業(yè)化路徑，并詳細(xì)針對(duì)不同類型客戶群體的需求，提供開放的API云端私有化和本地私有化等多種商業(yè)解決方案。迄今GLM系列模型已擁有2000多家合作伙伴，其中有200多家企事業(yè)單位與智譜AI進(jìn)行了深度的模型共創(chuàng)共建。
結(jié)語：AGI元年伊始，但路還很長
“人工智能大模型已經(jīng)成為國際科技競爭的必爭之地，實(shí)現(xiàn)國產(chǎn)的全資源自主可控的人工智能技術(shù)模型，也是迫在眉睫的任務(wù)。”張鵬談道。
在他看來，大模型的快速發(fā)展給全球科技創(chuàng)新帶來全新挑戰(zhàn)，超大規(guī)模的算力需求、超大規(guī)模的數(shù)據(jù)需求、全新的模型訓(xùn)練算法框架安全與可行的軟硬件的系統(tǒng)，大模型的應(yīng)用需求也更加動(dòng)態(tài)和多樣化，要求對(duì)大模型的不同層次進(jìn)行更深入的研究。這是個(gè)全新的AI科學(xué)難題，但也是一個(gè)我們趕超國際領(lǐng)先水平的機(jī)會(huì)。
2024年是AGI的元年，但路還很長。張鵬說，今天智譜將心目中的AI未來呈現(xiàn)在大家面前。在2024年乃至更長遠(yuǎn)的未來，智譜AI將堅(jiān)持更開放的心態(tài)，團(tuán)結(jié)更廣泛的合作伙伴，共創(chuàng)AI未來。
