智東西（公眾號(hào)：zhidxcom）
編譯?| 銘滟
編輯 | 云鵬
誰(shuí)曾想過，引發(fā)人工智能革命的突破竟源自一個(gè)改進(jìn)機(jī)器翻譯的想法？
智東西8月21日消息，據(jù)英國(guó)《金融時(shí)報(bào)》報(bào)道，被稱為“ChatGPT奠基之作”的著名架構(gòu)Transformer的八位作者均已離開谷歌。Transformer的發(fā)布如同人工智能領(lǐng)域的“宇宙大爆炸”。八位研究人員都看到了人工智能領(lǐng)域的新希望，相繼選擇離開谷歌，各自創(chuàng)立企業(yè)或加入新的團(tuán)隊(duì)以實(shí)現(xiàn)自己的抱負(fù)。
據(jù)悉，八位作者的初始想法只是想要改進(jìn)谷歌的機(jī)器翻譯，他們希望讓機(jī)器通讀整個(gè)句子，分析其所有部分，而不是單個(gè)單詞逐個(gè)翻譯。這一想法經(jīng)過他們的討論與碰撞后，成為“Transformer”架構(gòu)的概念起點(diǎn)——“自我注意力（self-attention）”。
在這一基礎(chǔ)上，八位作者結(jié)合各自專長(zhǎng)，于2017年12月發(fā)布論文“Attention Is All You Need（你所需要的是注意力）”。這篇論文所描述的，就是“Transformer”架構(gòu)。
身處人工智能浪潮之中，我們?cè)俣然乜础坝钪娲蟊ā钡乃查g，可以發(fā)現(xiàn)，與科學(xué)發(fā)現(xiàn)中的諸多突破性進(jìn)展一樣，引發(fā)人工智能革命的突破性進(jìn)展也湊齊了天時(shí)地利人和。
在英國(guó)《金融時(shí)報(bào)》萬(wàn)字揭秘中，全文回顧了Transformer架構(gòu)的前世今生、八位作者陸續(xù)離開谷歌的緣由以及他們?nèi)缃裨谌斯ぶ悄茴I(lǐng)域的成就等等，我們將帶你一文看盡。
一、Transformer創(chuàng)始八子：人均身價(jià)百萬(wàn)美元起
在詳細(xì)講述Transformer架構(gòu)的前世今生之前，我們可以先來認(rèn)識(shí)一下這八位作者，他們分別是Ashish Vaswani、Niki Parmar、Jakob Uszkoreit、Illia Polosukhin、Noam Shazeer、Llion Jones、Lukasz Kaiser和Aidan Gomez。
▲圖為Ashish Vaswani（左）和Niki Parmar（右），來源：金融時(shí)報(bào)
論文一作Ashish Vaswani（左）于2014年在南加州大學(xué)獲得博士學(xué)位，并于2016年作為研究科學(xué)家加入谷歌大腦團(tuán)隊(duì)。2022年4月，他與團(tuán)隊(duì)8人之一Niki Parmar共同創(chuàng)辦了Adept AI，但兩人均于12月離開該公司，并共同創(chuàng)立了另一家人工智能初創(chuàng)公司Essential AI。
Niki Parmar（右）來自印度西部浦那。在加入谷歌擔(dān)任軟件工程師之前，Parmar也曾就讀于南加州大學(xué)。她在谷歌大腦團(tuán)隊(duì)工作了四年，之后與Ashish Vaswani共同創(chuàng)立了Adept AI和Essential AI。
Essential AI的主營(yíng)業(yè)務(wù)是為企業(yè)構(gòu)建軟件，便于企業(yè)使用大型語(yǔ)言模型。今年5月，Essential?Al獲得了由OpenAI投資者“Thrive Capital”領(lǐng)投的800萬(wàn)美元（約合人民幣5858萬(wàn)元）融資。
▲圖為Jakob Uszkoreit（左）和Illia Polosukhin（右），來源：金融時(shí)報(bào)
Jakob Uszkoreit（左）曾在柏林學(xué)習(xí)。2008年至2021年，Uszkoreit在谷歌工作。Uszkoreit于2021年離開谷歌，并與他人共同創(chuàng)立Inceptive。該公司主營(yíng)業(yè)務(wù)為人工智能生命科學(xué)，致力于使用神經(jīng)網(wǎng)絡(luò)和高通量實(shí)驗(yàn)來設(shè)計(jì)下一代RNA分子。
Illia Polosukhin（右）曾在烏克蘭哈爾科夫?qū)W習(xí)。Polosukhin于2014年加入谷歌，他是八人團(tuán)隊(duì)中最早離開的人之一，于2017年同他人共同創(chuàng)立了區(qū)塊鏈公司NEAR Protocol。
Polosukhin曾任谷歌深度學(xué)習(xí)小組項(xiàng)目主管，帶隊(duì)負(fù)責(zé)核心搜索算法業(yè)務(wù)近10年，也是谷歌TensorFlow人工智能開源項(xiàng)目的主要代碼貢獻(xiàn)者。
他創(chuàng)立的區(qū)塊鏈公司NEAR Protocol目前估值約為20億美元（約合人民幣146億元），曾先后吸引包括a16z、MultiCoin Capital、Metastable、Coinbase Ventures等區(qū)塊鏈領(lǐng)域的著名投資機(jī)構(gòu)。
▲圖為Noam Shazeer（左）和Llion Jones（右），來源：金融時(shí)報(bào)
Noam Shazeer（左）曾于2000年至2009年間和2012年至2021年期間就職于谷歌。2021年，Shazeer離開谷歌并與前谷歌工程師Daniel De Freitas共同創(chuàng)立Character.AI，致力于開發(fā)生成式人工智能聊天機(jī)器人。今年三月，Character.AI宣布完成1.5億美元（約合人民幣10.98億元）融資，估值達(dá)10億美元（約合人民幣73.23億元）。
Llion Jones（右）本碩畢業(yè)于伯明翰大學(xué)，曾工作于Delcam、YouTube。他于2012年加入谷歌，擔(dān)任軟件工程師。直到本月，他表示自己離開谷歌，并于日本創(chuàng)辦人工智能初創(chuàng)企業(yè)sakana.ai。
▲圖為L(zhǎng)ukasz Kaiser（左）和Aidan Gomez（右），來源：金融時(shí)報(bào)
Lukasz Kaiser（左）曾在波蘭和德國(guó)學(xué)習(xí)，曾任法國(guó)國(guó)家科學(xué)研究中心研究員。他于2013年加入谷歌。2021年，他離開谷歌，成為OpenAI的研究員。
Aidan Gomez（右）畢業(yè)于加拿大多倫多大學(xué)，Transformer論文發(fā)表時(shí)，他還是谷歌大腦團(tuán)隊(duì)的實(shí)習(xí)生。他是八人團(tuán)隊(duì)中第二個(gè)離開谷歌的人。
2019年，他與他人共同創(chuàng)立了Cohere，這是一家總部位于多倫多的初創(chuàng)公司，該公司專注于提供NLP模型，幫助企業(yè)改善人機(jī)交互。今年6月，Cohere拿到了由英偉達(dá)等參投的2.5億美元融資，當(dāng)前估值已達(dá)20億美元。
二、AI的“宇宙起源”：Transformer
2017年初，兩位谷歌研究科學(xué)家Ashish Vaswani和Jakob Uszkoreit在谷歌園區(qū)中討論如何改進(jìn)機(jī)器翻譯（谷歌翻譯背后的人工智能技術(shù)）的新想法。
在那時(shí)，Illia Polosukhin正與其他人工智能研究員合作研究一個(gè)他們稱之為“自我注意力（self-attention）”的想法。自我注意力的概念是讓機(jī)器通讀整個(gè)句子，分析其所有部分，而不是單個(gè)單詞逐個(gè)翻譯。然后，機(jī)器就可以獲得更通順的上下文，并生成翻譯。他認(rèn)為，這一概念可以從根本上提升計(jì)算機(jī)對(duì)語(yǔ)言的理解能力。
當(dāng)時(shí)，三位科學(xué)家認(rèn)為這一方法將比現(xiàn)有方法更快、更準(zhǔn)確。經(jīng)過嘗試翻譯了一些英德翻譯的文本后，他們發(fā)現(xiàn)自我注意力的概念是有效的。
在走廊里聊天時(shí)，Uszkoreit和Vaswani的想法也谷歌老員工Noam Shazeer無(wú)意中聽到。
Shazeer曾經(jīng)協(xié)助構(gòu)建谷歌搜索“Did You Mean?”的拼寫檢查功能，他還參與了其他幾項(xiàng)人工智能創(chuàng)新工作，但他對(duì)現(xiàn)有的語(yǔ)言生成方法感到失望，并在尋找新思路。
因此，當(dāng)他聽到同事談?wù)摗白晕易⒁饬Α边@個(gè)想法時(shí)，他決定加入并提供幫助。Shazeer說：“我支持你們，讓我們一起來做吧，這將使所有的人工智能研究員受益匪淺?！?/p>
這次偶然的談話促成了八人團(tuán)隊(duì)為期數(shù)月的合作。他們研究了一種處理語(yǔ)言的架構(gòu)，也就是“Transformer”。最終，八人團(tuán)隊(duì)于2017年發(fā)布了一篇簡(jiǎn)短的論文，論文標(biāo)題簡(jiǎn)潔有力：“Attention Is All You Need（你所需要的是注意力）”。這篇論文描述了“Transformer”架構(gòu)。
Llion Jones說這個(gè)標(biāo)題是對(duì)披頭士樂隊(duì)歌曲“All You Need Is Love”的致敬。這篇論文于2017年6月首次發(fā)表，開啟了人工智能的全新時(shí)代：生成式人工智能的崛起。
▲圖為披頭士樂隊(duì)歌曲“All You Need Is Love”封面
如今，絕大多數(shù)的人工智能應(yīng)用都是以Transformer為基礎(chǔ)架構(gòu)。它不僅嵌入在谷歌搜索和谷歌翻譯中，還是所有的大語(yǔ)言模型（Large Language Model）的基礎(chǔ)架構(gòu)，包括ChatGPT和Bard等。
三、Transformer：把“前浪”拍在沙灘上
▲圖為Transformer架構(gòu)示意，來源：金融時(shí)報(bào)
像所有科學(xué)進(jìn)步一樣，Transformer建立在之前幾十年的人工智能相關(guān)領(lǐng)域的工作基礎(chǔ)上，這些工作來自谷歌自身的實(shí)驗(yàn)室，以及其子公司DeepMind（現(xiàn)已與谷歌大腦團(tuán)隊(duì)合并）、Meta和各個(gè)大學(xué)的研究人員等等。
但在2017年，這些碎片因谷歌研究部門的八位成員的偶然集結(jié)而得以融合。
最終的團(tuán)隊(duì)成員包括Vaswani、Shazeer、Uszkoreit、Polosukhin和Jones，以及當(dāng)時(shí)還在多倫多大學(xué)攻讀學(xué)位的實(shí)習(xí)生Aidan Gomez和Uszkoreit團(tuán)隊(duì)的碩士研究生Niki Parmar。第八位作者是Lukasz Kaiser，他也是法國(guó)國(guó)家科學(xué)研究中心的兼職學(xué)者。
盡管八人團(tuán)隊(duì)在教育、職業(yè)和地理背景上具有多樣性。但是，八人的共同興趣都是人工智能研究的新興領(lǐng)域：自然語(yǔ)言處理。
Uszkoreit在美國(guó)和德國(guó)長(zhǎng)大，他說：“擁有這樣多樣化的團(tuán)隊(duì)成員對(duì)這項(xiàng)工作的發(fā)展絕對(duì)至關(guān)重要?！?/p>
Uszkoreit最初拒絕涉足語(yǔ)言理解領(lǐng)域，因?yàn)樗母赣H是計(jì)算語(yǔ)言學(xué)的教授。但當(dāng)他來谷歌實(shí)習(xí)時(shí)，他發(fā)現(xiàn)當(dāng)時(shí)人工智能領(lǐng)域最有意思的問題是語(yǔ)言翻譯。盡管這讓他感到有些惱火，但他最后還是延續(xù)了父親的道路，開始專注于機(jī)器翻譯領(lǐng)域。
據(jù)他們回憶，他們最初以三個(gè)獨(dú)立小組的身份研究“自我注意力”的不同方面，但后來，他們決定集中起來。部分團(tuán)隊(duì)成員負(fù)責(zé)編寫初始代碼、清洗數(shù)據(jù)和進(jìn)行測(cè)試，而其他人則負(fù)責(zé)圍繞模型創(chuàng)建架構(gòu)，并將其集成到谷歌的基礎(chǔ)設(shè)施中，以確保其高效運(yùn)行，并最終使其易于操作。
Jones談到，“Transformer的想法是我們一起在辦公室工作時(shí)自然浮現(xiàn)的。”谷歌豐富多彩的開放式工作環(huán)境一定程度上保證了員工的創(chuàng)造力?！拔矣浀卯?dāng)時(shí)Jakob Uszkoreit騎著自行車來到我的辦公桌前，他在我身后的白板上潦草地畫了一個(gè)模型，然后收集了當(dāng)時(shí)在場(chǎng)同事的想法?！?/p>
八人團(tuán)隊(duì)之間的聯(lián)系源自他們對(duì)語(yǔ)言的癡迷與追求，他們希望能利用人工智更好地理解語(yǔ)言的動(dòng)機(jī)。正如資深工程師Shazeer所說：“文本實(shí)際上是我們最集中的抽象思維形式。我一直覺得，如果你想構(gòu)建真正智能的東西，你應(yīng)該從文本入手。”
在論文中提到的模型是對(duì)原始“自我注意力”概念的簡(jiǎn)化版。Shazeer發(fā)現(xiàn)，當(dāng)他們?nèi)コ怂谢ㄉ诘母郊螅@種簡(jiǎn)化版的運(yùn)行效果更好。代碼是模型運(yùn)行的起點(diǎn)，但模型仍需要大量微調(diào)才能使其在GPU上運(yùn)行。GPU正是最適合運(yùn)行類似Transformer這樣的深度學(xué)習(xí)架構(gòu)的硬件。
Uszkoreit表示，“在深度學(xué)習(xí)的概念中，重點(diǎn)不僅在架構(gòu)本身。關(guān)鍵在于如何將它們應(yīng)用到硬件上。這像是一個(gè)巨大的黑魔法的寶庫(kù)，只有極少數(shù)人才能真正掌握其中奧秘?！?/p>
這些硬件運(yùn)行想法主要由Shazeer負(fù)責(zé)實(shí)現(xiàn)，他也被稱為“魔法師”。正因能夠在硬件中運(yùn)行，Transformer在每一項(xiàng)應(yīng)用任務(wù)中都取得了飛躍式的進(jìn)步。
它的優(yōu)點(diǎn)在于它支持并行計(jì)算，并能將計(jì)算打包，提高計(jì)算效率。Polosukhin說：“提升計(jì)算效率這件事非常簡(jiǎn)單，因?yàn)門ransformer的架構(gòu)非常緊湊?！?/p>
▲圖為L(zhǎng)ukasz Kaiser和Illia Polosukhin在NeurIPS會(huì)議上，背景中可以看到展示Transformer的海報(bào)，來源：金融時(shí)報(bào)
該論文于2017年12月發(fā)表，恰好趕上了當(dāng)年在加利福尼亞南部舉行的最負(fù)盛名的機(jī)器學(xué)習(xí)會(huì)議之一——NeurIPS。他們?nèi)匀挥浀?，?dāng)他們展示工作海報(bào)時(shí)，他們被會(huì)議現(xiàn)場(chǎng)的研究人員團(tuán)團(tuán)圍住。不久之后，谷歌之外的科學(xué)家們也開始將Transformer應(yīng)用于從翻譯到人工智能生成答案、圖像標(biāo)注和識(shí)別等各個(gè)領(lǐng)域中。目前，它在研究論文中的引用次數(shù)已經(jīng)超過82000次。
“無(wú)論是理論還是實(shí)踐領(lǐng)域，Transformer都經(jīng)歷了一次大爆發(fā)?！盫aswani表示：“Transformer推動(dòng)了機(jī)器翻譯的發(fā)展，語(yǔ)言模型Bert出現(xiàn)。當(dāng)Transformer應(yīng)用于谷歌搜索時(shí)，這意味著Transformer進(jìn)入了搜索領(lǐng)域，也就是說，人工智能迎來了一個(gè)非常重要的時(shí)刻?！?/p>
論文發(fā)表后，Parmar發(fā)現(xiàn)Transformer可以生成類似維基百科的長(zhǎng)篇文本，而以前的模型很難做到這件事。她說：“當(dāng)時(shí)我們已經(jīng)意識(shí)到，以前的研究根本無(wú)法生成長(zhǎng)文本?！?/p>
Parmar還意識(shí)到了Transformer的一個(gè)關(guān)鍵特性：當(dāng)你給Transformer越來越多的數(shù)據(jù)時(shí)，它們能夠?qū)W得更好。這為GPT-4等大語(yǔ)言模型的出現(xiàn)指明了方向。在推理和語(yǔ)言能力方面，Transformer比它們的“前輩”要強(qiáng)得多。
“總的來說，幾乎在任何可以應(yīng)用它們的領(lǐng)域里，Transformer的表現(xiàn)都優(yōu)于以前的舊模型?！盝ones說，“我認(rèn)為這就是Transformer被廣泛應(yīng)用的原因?！?/p>
四、八人出逃谷歌的前奏：Transformer太強(qiáng)了
然而，Transformer的真正威力遠(yuǎn)超語(yǔ)言范疇。它可以生成帶有重復(fù)圖案或模式的所有東西，從使用DALL·E、Midjourney和Stable Diffusion等工具生成的圖像，到使用GitHub CoPilot等生成器生成的計(jì)算機(jī)代碼，甚至DNA。
▲圖為GitHub CoPilot示意
Vaswani對(duì)音樂特別感興趣，她想知道Transformer是否可以用來生成音樂。她驚訝地發(fā)現(xiàn)它不僅可以生成古典鋼琴音樂，還能生成當(dāng)時(shí)最先進(jìn)的人工智能模型。
“Transformer可以快速捕捉輸入的不同部分之間的連接方式，一旦它捕捉到，它就可以從中學(xué)習(xí)?！盫aswani說?！斑@是一種通用方法。Transformer可以捕捉句子中各個(gè)部分之間的連接，或者音樂中的音符，圖像中的像素，蛋白質(zhì)的組成部分。它可以用于任何任務(wù)?！?/p>
五、八人團(tuán)隊(duì)陸續(xù)離開谷歌：新的種子需要新的土壤
Transformer的起源以及其八人團(tuán)隊(duì)的故事有助于解釋人類在人工智能領(lǐng)域的發(fā)展：這是一個(gè)關(guān)鍵轉(zhuǎn)折。就像曾經(jīng)的互聯(lián)網(wǎng)和智能手機(jī)一樣，Transformer為新一代企業(yè)家提供了種子，讓他們?yōu)榇蟊婇_發(fā)出由人工智能驅(qū)動(dòng)的消費(fèi)產(chǎn)品。
但與此同時(shí)，這也凸顯了在演變?yōu)辇嫶蟮摹肮倭艡C(jī)構(gòu)”的過程中，谷歌究竟如何扼殺了本應(yīng)蓬勃發(fā)展的創(chuàng)業(yè)精神以及快速推出新消費(fèi)產(chǎn)品的能力。
哈佛商學(xué)院教授Clayton Christensen曾提出一個(gè)概念，名為“創(chuàng)新者困境”（innovator’s dilemma）。英國(guó)《金融時(shí)報(bào)》認(rèn)為，八人團(tuán)隊(duì)的出逃正是這一概念的鮮明例證。“創(chuàng)新者困境”的概念探討了行業(yè)巨頭被小而新的企業(yè)超越的原因。盡管谷歌聚集了全球領(lǐng)先的深度學(xué)習(xí)和AI人才，并為他們創(chuàng)造了一個(gè)有利的研究環(huán)境，但卻無(wú)法留住他們自己培養(yǎng)的科學(xué)家。
谷歌曾在一份聲明中表示，對(duì)于Transformer和其創(chuàng)造的人工智能生態(tài)系統(tǒng)，他們感到“自豪”。谷歌承認(rèn)在如今人工智能行業(yè)充滿活力的環(huán)境中，有才華的員工可能會(huì)選擇離開，堪稱喜憂參半。
專家們認(rèn)為，這些知識(shí)資本的增長(zhǎng)帶來了海量的人工智能創(chuàng)新。Alphabet旗下專注于人工智能投資的成長(zhǎng)型基金CapitalG的合伙人Jill Chase表示：“Transformer已經(jīng)成為幾乎所有使用大語(yǔ)言模型的生成式AI公司的基礎(chǔ)。我的意思是，它無(wú)處不在。因?yàn)橛辛薚ransformer，這些產(chǎn)品才得以存在。”
六、“沒人想錯(cuò)過人工智能研究的豐碩成果”
在Transformer論文引起強(qiáng)烈的反響之后，八位研究人員非常希望盡快將自己的想法推向市場(chǎng)。
那時(shí)，人工智能研究的步伐正在加快，特別是在使用Transformer生成文本和圖像等領(lǐng)域，但許多創(chuàng)新型貢獻(xiàn)均來自于谷歌之外的初創(chuàng)公司，比如OpenAI。
據(jù)英國(guó)《金融時(shí)報(bào)》七位接受采訪的Transformer共同作者表示，他們想知道他們所創(chuàng)造的工具能夠做什么。“Transformer之后的幾年是研究成果最為豐碩的時(shí)期。并且模型會(huì)不斷吸收更多反饋，從而變得更智能，”Vaswani說：“沒有人想錯(cuò)過這個(gè)機(jī)會(huì)?！?/p>
但他們也發(fā)現(xiàn)，谷歌公司的組織架構(gòu)不允許員工進(jìn)行冒險(xiǎn)創(chuàng)業(yè)或迅速推出新產(chǎn)品。如果他們想要深入研究Transformer，他們需要開發(fā)一種“可以與計(jì)算機(jī)對(duì)話的新型軟件”，Vaswani補(bǔ)充道，“想做這件事的話，離開谷歌后會(huì)更容易?！弊罱K，他于2021年離開谷歌。
Polosukhin早在2017年就離開了谷歌，創(chuàng)辦了一家名為NEAR Protocol的初創(chuàng)公司。他的最初想法是利用人工智能教計(jì)算機(jī)執(zhí)行編程任務(wù)，但后來他轉(zhuǎn)向了區(qū)塊鏈支付領(lǐng)域。
后來，年輕且經(jīng)驗(yàn)最少的Gomez也呆不住了。他曾在Kaiser的團(tuán)隊(duì)實(shí)習(xí)，他對(duì)時(shí)尚和設(shè)計(jì)充滿熱情，他認(rèn)為自己正身處于有關(guān)語(yǔ)言理解研究的前沿。
他說，“我離開谷歌的原因是，我沒有看到足夠多的產(chǎn)品采納了我正在使用的技術(shù)。谷歌的產(chǎn)品沒有改變，沒有迭代，沒有采用這項(xiàng)新技術(shù)。在谷歌，我沒有看到大語(yǔ)言模型真正發(fā)揮它的力量?！?/p>
2019年，Gomez離開了谷歌，創(chuàng)辦了一家名為Cohere的生成式人工智能初創(chuàng)公司。該公司的估值現(xiàn)已超過20億美元（約合人民幣146億元），獲得了Nvidia、Oracle、Salesforce等公司的投資。Gomez希望將大語(yǔ)言模型應(yīng)用于各種商業(yè)問題，涵蓋銀行、零售和客戶服務(wù)等領(lǐng)域?！皩?duì)我們來說，重要的是降低企業(yè)用戶使用大模型的門檻，”他說，“每個(gè)開發(fā)者都應(yīng)該能夠使用人工智能技術(shù)來構(gòu)建應(yīng)用。”
▲圖為Cohere官網(wǎng)示意
與此同時(shí)，Uszkoreit決定將Transformer應(yīng)用于一個(gè)完全不同的領(lǐng)域。他的初創(chuàng)公司Inceptive是一家生物技術(shù)公司，正在使用深度學(xué)習(xí)技術(shù)設(shè)計(jì)“生物軟件”。
該公司已經(jīng)向一家大型制藥公司交付了由人工智能設(shè)計(jì)的傳染病疫苗分子。Uszkoreit表示：“我相信，這是迄今為止在我過去十年的工作基礎(chǔ)上改善甚至拯救人們生命的最佳方式?！?/p>
Shazeer于2021年離開了谷歌，這正是他在谷歌的第二十年。他與他人共同創(chuàng)辦了Character.AI。該公司致力于開發(fā)生成式人工智能聊天機(jī)器人。他說：“在大公司，我們可能很難推出新產(chǎn)品，但初創(chuàng)公司可以更快地實(shí)現(xiàn)我們的想法?！?/p>
Vaswani和Parmar于2021年同時(shí)離開谷歌，并合作創(chuàng)辦了一家名為Essential.AI的人工智能公司，該公司致力于為企業(yè)構(gòu)建軟件、便于企業(yè)用戶使用大語(yǔ)言模型。今年5月，這家初創(chuàng)公司獲得了由OpenAI投資者“Thrive Capital”領(lǐng)投的800萬(wàn)美元融資。
“谷歌是一個(gè)很棒的公司，但他們希望優(yōu)化現(xiàn)有的產(chǎn)品，所以我們很難推出新產(chǎn)品?！盤armar說：“我希望利用Transformer構(gòu)建新產(chǎn)品，這是我離開谷歌的重要原因之一?！?/p>
七、聚則為Transformer，散則成人工智能宇宙
如今，八人團(tuán)隊(duì)仍然時(shí)常聯(lián)系。他們不僅共同慶祝彼此的成功，也會(huì)在成為初創(chuàng)企業(yè)家時(shí)盡可能互相扶持，渡過各種難關(guān)。
如果說Transformer的發(fā)布是那個(gè)“大爆炸（big bang）”時(shí)刻，那么現(xiàn)在，屬于它的宇宙已經(jīng)展開。絕大部分大語(yǔ)言模型都是以Transformer為基礎(chǔ)架構(gòu)，包括AlphaFold、ChatGPT等等。
▲圖為Attention Is All You Need論文八位作者署名示意
這也導(dǎo)致了硅谷業(yè)內(nèi)人士稱之為“技術(shù)過?！保╰echnology overhang）的時(shí)期——即使研究沒有取得任何進(jìn)展，各行業(yè)也會(huì)花費(fèi)時(shí)間將最新的人工智能技術(shù)應(yīng)用到產(chǎn)品中。
“人們已經(jīng)感受到了Transformer的深刻影響，人工智能吸引了海量研究人員、技術(shù)專家和產(chǎn)品人員進(jìn)入這一領(lǐng)域。現(xiàn)在，我們認(rèn)為人工智能技術(shù)已經(jīng)過剩，這一技術(shù)可以應(yīng)用于各種產(chǎn)品中，并實(shí)現(xiàn)不同的價(jià)值?！盫aswani說：“在某種程度上，這也是我們八人團(tuán)隊(duì)分散于不同領(lǐng)域，試圖讓人類真正用上人工智能產(chǎn)品的原因?！?/p>
結(jié)語(yǔ)：人工智能領(lǐng)域正在野蠻生長(zhǎng)
Transformer八人團(tuán)隊(duì)因一個(gè)初始想法而相聚，進(jìn)而發(fā)揮各自專長(zhǎng)，共同發(fā)布Transformer架構(gòu)。此后，八個(gè)人依照各自興趣，相繼離開谷歌，并創(chuàng)立了聚焦于不同領(lǐng)域的人工智能創(chuàng)企。當(dāng)初的星星之火，現(xiàn)在早已燎原。
僅以2023年上半年的融資情況來看，人工智能企業(yè)的相關(guān)融資可以說在經(jīng)濟(jì)下行時(shí)期展現(xiàn)出逆勢(shì)上揚(yáng)的態(tài)勢(shì)。國(guó)內(nèi)外均對(duì)人工智能領(lǐng)域保持高度關(guān)注，相繼發(fā)布各類政策與文件。未來人工智能技術(shù)，或?qū)?yīng)用于人類生活的各個(gè)方面。關(guān)于人工智能企業(yè)的各類動(dòng)態(tài)，我們也將持續(xù)關(guān)注。
來源：英國(guó)《金融時(shí)報(bào)》
