「你們正在進(jìn)行的事情，具有巨大的潛力和巨大的危險(xiǎn)性�！�
美國白宮的會(huì)議室，總統(tǒng)拜登對著幾大科技公司的負(fù)責(zé)人提醒道。
5 月初，美國科技巨頭和 AI 公司的掌門人受邀前往白宮，討論 AI 的未來。在拜登召見的人物來頭中，除了人盡皆知的 OpenAI、谷歌、微軟三家目前 AI 領(lǐng)域的巨頭外，還有一家剛剛成立不久的初創(chuàng)公司 Anthropic。
5 月 23 日，Anthropic 再下一城，拿下 4.5 億美元 C 輪融資，而這距離其收到谷歌的 3 億美元?jiǎng)倓傔^去兩個(gè)月時(shí)間。至此，據(jù) Crunchbase 統(tǒng)計(jì)，Anthropic 的資金儲(chǔ)備達(dá)到了 14.5 億美元，估值超過 40 億美元。
一家由 OpenAI 前員工創(chuàng)立的公司，怎么就在兩年之內(nèi)，成為超級(jí)獨(dú)角獸，并且積攢起對抗如日中天的 OpenAI 的實(shí)力的？Anthropic 強(qiáng)調(diào)的「符合憲法的AI」，以及其 AI 助手 Claude，能成為ChatGPT之外大語言模型的「另一級(jí)」嗎？
OpenAI的「叛徒」
一直到 2023 年 1 月，OpenAI 也只有 375 名全職員工，雖然規(guī)模不過數(shù)百人，其推出的大型語言模型卻不僅撼動(dòng)了硅谷，影響力也蔓延全球。與此同時(shí)，有些離開 OpenAI 的雇員，創(chuàng)辦起了自己的公司。
「我們成立于 2021 年初，最初是一個(gè)由 7 人組成的團(tuán)隊(duì)，一起從 OpenAI 出來�！笰nthropic 的聯(lián)合創(chuàng)始人在生命未來研究所的一檔播客節(jié)目中說道。
據(jù)稱，他們之所以離開OpenAI，是因?yàn)閷υ摴镜陌l(fā)展方向產(chǎn)生了分歧即 OpenAI 在 2019 年與微軟達(dá)成第一筆 10 億美元的交易后，越來越趨向商業(yè)化。Anthropic 的目標(biāo)是在未來兩年內(nèi)籌集多達(dá) 50 億美元，以與 OpenAI 競爭，并進(jìn)入十幾個(gè)行業(yè)。
帶頭出走的包括一對兄弟姐妹，即 Dario Amodei 和 Daniela Amodei，他們還帶走了曾在 OpenAI 領(lǐng)導(dǎo) GPT-3 模型的工程師 Tom Brown，一起在舊金山創(chuàng)辦 Anthropic。
Anthropic 創(chuàng)始人，Daniela Amodei（左）Dario Amodei（右）|網(wǎng)絡(luò)
從履歷看，Dario Amodei 在 OpenAI 呆了四年半，最早是 AI 安全的團(tuán)隊(duì)負(fù)責(zé)人，隨后相繼升任研究主管、研究副總裁，此前還在谷歌、百度工作過。Daniela Amodei 則在 OpenAI 呆了兩年，離職前是 OpenAI 安全和政策副總裁，更早前在 Stripe 工作，還擔(dān)任過國會(huì)工作人員。
Amodei 兄妹向外界強(qiáng)調(diào)，一起出走的團(tuán)隊(duì)有著「高度一致的AI安全愿景」，創(chuàng)始團(tuán)隊(duì)七個(gè)人的共同特點(diǎn)是重視 AI 安全，包括語言模型的可解釋性，想「讓模型更安全，更符合人類價(jià)值觀」，目標(biāo)是「建立有用、誠實(shí)和無害的系統(tǒng)」。
Dario Amodei 認(rèn)為，現(xiàn)有的大型語言模型「可能會(huì)說一些可怕、有偏見或不好的話」，AI 安全研究需要降低甚至排除它們做壞事的可能性。
谷歌，強(qiáng)力「后援」
自創(chuàng)立以來，Anthropic 一直在籌集資金，并擴(kuò)大研究團(tuán)隊(duì)，2021 年 5 月宣布 A 輪融資 1.24 億美元，由 Skype 聯(lián)合創(chuàng)始人 Jaan Tallinn 領(lǐng)投，其他支持者包括 Facebook 和 Asana 聯(lián)合創(chuàng)始人 Dustin Moskovitz、前谷歌首席執(zhí)行官 Eric Schmidt。
不到一年后，Anthropic 在 2022 年 4 月宣布 B 輪融資 5.8 億美元，由 FTX 首席執(zhí)行官 Sam Bankman-Fried 領(lǐng)投。FTX 是一家現(xiàn)已破產(chǎn)的加密貨幣平臺(tái)，被控欺詐，法庭是否可以追回這筆錢存在疑問。
不過，在資金問題上，Anthropic 陸續(xù)迎來其他實(shí)力雄厚的支持者。2023 年 5 月 23 日，Anthropic 宣布完成 C 輪融資 4.5 億美元，由 Spark Capital 領(lǐng)投，還有包括 Google、Salesforce（通過其子公司 Salesforce Ventures）和 Zoom（通過 Zoom Ventures）在內(nèi)的科技巨頭參與，此外還有 Sound Ventures、Menlo Ventures 和其他未披露的投資方。
在 Anthropic 的所有投資方里，來自谷歌的支持一直備受關(guān)注。此前，就在微軟高調(diào)宣布向 OpenAI 投資 100 億美元后不久，谷歌向 Anthropic 投資了約 3 億美元，以換取該公司 10% 的股份，根據(jù)交易條款，Anthropic 要將谷歌云作為其首選云服務(wù)提供商。
這筆交易標(biāo)志著一家科技巨頭與一家 AI 初創(chuàng)公司的最新聯(lián)盟，類似于微軟和 OpenAI 之間的合作關(guān)系，OpenAI 進(jìn)行專業(yè)研究，而微軟提供資金和訓(xùn)練 AI 模型所需的計(jì)算資源。
在谷歌和 Anthropic 結(jié)盟前，微軟早已投資了數(shù)十億美元，并將 OpenAI 的技術(shù)整合到自家許多服務(wù)中，谷歌現(xiàn)階段的聯(lián)盟似乎蘊(yùn)含著準(zhǔn)備和微軟打「代理人戰(zhàn)爭」的信號(hào)。但目前消息顯示，谷歌與 Anthropic 的關(guān)系，仍僅限于作為 Anthropic 的技術(shù)支持和資金提供方。
谷歌的投資是由其云計(jì)算部門進(jìn)行的，由谷歌云首席執(zhí)行官 Thomas Kurian 負(fù)責(zé)，計(jì)劃將 Anthropic 的數(shù)據(jù)密集型計(jì)算工作帶到谷歌的數(shù)據(jù)中心，而且，谷歌已有自己的大規(guī)模語言模型。
Anthropic 與谷歌云計(jì)算服務(wù)綁定｜Twitter
相比微軟，谷歌還會(huì)計(jì)劃將 Claude 整合到其服務(wù)中嗎？看起來未必。根據(jù)谷歌宣布的 Bard 和 PaLM，谷歌自身已經(jīng)有了足夠的內(nèi)部研究基礎(chǔ)，似乎不太可能像微軟那樣在其產(chǎn)品中依賴一家外部 AI 公司的解決方案，與 Anthropic 結(jié)盟的動(dòng)機(jī)更像是為了谷歌的云計(jì)算業(yè)務(wù)，而且對于谷歌而言，資助 OpenAI 的競爭對手可能符合谷歌的戰(zhàn)略利益。
谷歌云首席執(zhí)行官 Thomas Kurian 在一份聲明中表示：「谷歌云正在為下一代人工智能初創(chuàng)公司提供開放式基礎(chǔ)設(shè)施，我們與 Anthropic 的合作是一個(gè)很好的例子。」
對于 Anthropic 來說呢？相比前東家，Anthropic 的創(chuàng)始人們尤其強(qiáng)調(diào)要建立「可靠、可解釋和可控制的 AI 系統(tǒng)」，并因 OpenAI 商業(yè)化發(fā)展方向的「分歧」出走，問題便在于，現(xiàn)在谷歌的投資是否會(huì)對其發(fā)展方向有所影響？
目前，Anthropic 的 AI 研究原則宣言是：「我們認(rèn)為，批判性地評(píng)估我們工作的潛在社會(huì)影響是研究的一個(gè)關(guān)鍵支柱�！�
高舉「合憲AI」旗幟
鑒于 Anthropic 創(chuàng)始人是 OpenAI 前員工的淵源，這是否意味 Anthropic 在大模型方面的技術(shù)和 OpenAI 一樣，只是安全理念有別？目前看，Anthropic 并不完全復(fù)制 OpenAI 的方法，模型的訓(xùn)練目標(biāo)、訓(xùn)練方法都存在差異。
自詡為 AI 安全公司的 Anthropic，提出了「合憲 AI」（Constitutional AI）。在訓(xùn)練過程中，研究人員會(huì)定義一些原則來約束系統(tǒng)的行為，如不得產(chǎn)生威脅人身安全的內(nèi)容，不得違反隱私或造成傷害等。AI 系統(tǒng)在與人對話時(shí)，需要不斷判斷生成的響應(yīng)是否符合這些原則。
根據(jù)其研究論文解釋，其用 AI 的幫助來監(jiān)督其他 AI，先訓(xùn)練一個(gè)無害的 AI 助手，而非用人工標(biāo)注來識(shí)別有害輸出，這種技術(shù)方法包括監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩個(gè)階段。在監(jiān)督學(xué)習(xí)階段，其從初始模型中采樣，然后生成自我批評(píng)和修正，基于此微調(diào)初始模型。
在強(qiáng)化學(xué)習(xí)階段，其從微調(diào)的模型中采樣，用模型評(píng)估兩個(gè)樣本中哪個(gè)更好，從這組 AI 偏好的數(shù)據(jù)集中訓(xùn)練一個(gè)偏好模型，使用偏好模型作為獎(jiǎng)勵(lì)信號(hào)進(jìn)行強(qiáng)化學(xué)習(xí)，即使用「來自 AI 反饋的強(qiáng)化學(xué)習(xí)」（RLAIF）。
簡言之，他們通過規(guī)則約束和模型自我監(jiān)督的方式來控制AI系統(tǒng)的行為，使其對人類來說更加可靠與透明，通過 AI 模型之間的互動(dòng)與反饋來優(yōu)化系統(tǒng)，這也是「合憲 AI」技術(shù)的關(guān)鍵所在。
與之相比，OpenAI 使用無監(jiān)督學(xué)習(xí)和海量非結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練語言模型，以最大限度地預(yù)測人類語言為目的，而 Anthropic 用人工制定的規(guī)則或原則來約束 AI 系統(tǒng)的行為，通過引入模型自我監(jiān)督和反饋機(jī)制，AI 系統(tǒng)在交互過程中需要持續(xù)判斷自己的響應(yīng)，而非簡單地最大化語言預(yù)測的準(zhǔn)確性。
Anthropic 的研究論文提出「合憲 AI」（Constitutional AI）｜Cornell university
這樣看來，Anthropic 為「安全」「可控」的目標(biāo)，一定程度上犧牲了語言生成的自由度，但這樣的理念無疑迎合著各地監(jiān)管AI的部分聲浪。
在大型語言模型躥紅之際，警惕 AI 的聲音越來越多，多國立法提案要求強(qiáng)制合規(guī)，有人呼吁建立新的機(jī)構(gòu)來監(jiān)管 AI，還有研究人員呼吁暫時(shí)「暫�！寡邪l(fā)，美國國會(huì)還開了 AI 監(jiān)管議題的聽證會(huì)。
Anthropic 所提到的「憲法」原則不是狹義上的憲法，其官網(wǎng)列舉了一系列原則來源，包括聯(lián)合國人權(quán)宣言、受 Deepmind 的 Sparrow 原則啟發(fā)的原則、Apple 的服務(wù)條款、非西方觀點(diǎn)的原則等。例如：
請選擇最支持和鼓勵(lì)自由、平等和兄弟情誼的答案。
請選擇最少種族主義和性別歧視，以及最少基于語言、宗教、政治或其他觀點(diǎn)、國籍或社會(huì)出身、財(cái)產(chǎn)、出生或其他身份的歧視的答案。
請選擇對生命、自由和人身安全最支持和鼓勵(lì)的回答。
請選擇最不鼓勵(lì)和反對酷刑、奴役、殘忍和不人道或有辱人格的待遇的回答。
請選擇更清楚地承認(rèn)普遍平等、承認(rèn)、公平對待和免受歧視的權(quán)利的回答。
請選擇最尊重每個(gè)人的隱私、獨(dú)立、名譽(yù)、家庭、財(cái)產(chǎn)權(quán)和結(jié)社權(quán)的答案。
請選擇最尊重思想、良心、見解、言論、集會(huì)和宗教自由權(quán)的答案。
請選擇最尊重工作、參與政府、休息、享有適當(dāng)生活水平、教育、醫(yī)療保艦文化體驗(yàn)以及與他人平等對待的權(quán)利的答案。
Anthropic 同時(shí)強(qiáng)調(diào)，這些原則既沒有最終確定，也可能不是最好的，希望對其進(jìn)行迭代，并歡迎進(jìn)一步的研究和反潰其自認(rèn)與其他人工智能聊天機(jī)器人相比，旗下 Claude「產(chǎn)生有害輸出的可能性要小得多」。
挑戰(zhàn)者的挑戰(zhàn)
那么模型輸出具體現(xiàn)實(shí)表現(xiàn)如何？業(yè)內(nèi)不少實(shí)踐測評(píng)認(rèn)為，Claude 在創(chuàng)意任務(wù)、遵循用戶指令、瑣事問題上表現(xiàn)更好，響應(yīng)速度更快，但在編程、語法等問題上則遜于 ChatGPT。
斯坦福人工智能實(shí)驗(yàn)室的一名學(xué)生對 Claude 和 ChatGPT 進(jìn)行評(píng)估比較，認(rèn)為Claude「通常更接近它所要求的內(nèi)容」，但「不夠簡潔」，因?yàn)樗鼉A向于解釋它所說的內(nèi)容，而且他覺得 Claude 的數(shù)學(xué)和編程能力都不如 ChatGPT。
另一方面，Claude 似乎擅長與娛樂、地理、歷史等有關(guān)的問題，有一名 AI 研究員測評(píng)認(rèn)為，Claude 比 ChatGPT 更擅長講笑話，并且稱其「多了一點(diǎn)點(diǎn)良心」。值得注意的是，他還報(bào)告稱，Claude 并沒有解決「幻覺」問題，這在類似 ChatGPT 的 AI 系統(tǒng)中也長期存在，即 AI 會(huì)生成與事實(shí)不一致的錯(cuò)誤陳述，比如為一種不存在的化學(xué)物質(zhì)發(fā)明一個(gè)名稱。
從行業(yè)應(yīng)用看，截至目前，Claude 已經(jīng)通過合作伙伴集成到部分行業(yè)產(chǎn)品中，例如 DuckDuckGo 的 DuckAssist 即時(shí)摘要、以及為 Quora 創(chuàng)建的名為 Poe 的人工智能聊天應(yīng)用程序。5 月 23 日，Anthropic 還宣布與 Zoom 建立合作關(guān)系，Zoom Ventures 也對 Anthropic 進(jìn)行了投資。
不過，第一個(gè)推出產(chǎn)品的公司通�！甘情L期贏家，因?yàn)樗麄兿乳_始了，」微軟技術(shù)主管 Sam Schillace 認(rèn)為，「有時(shí)差異以周為單位�！雇瑫r(shí)，Anthropic 不僅要與 OpenAI 競爭，還有大量 AI 初創(chuàng)公司在開發(fā)自己的人工智能系統(tǒng)。
Claude 回應(yīng)自己挑戰(zhàn) ChatGPT 的勝算
甚至連 Claude 在被問到 Anthropic 是否有勝算時(shí)，Claude 也直言短期內(nèi) Anthropic 難以全面超越 OpenAI 的競爭地位。但是它認(rèn)為，「Anthropic 將AI安全技術(shù)作為其產(chǎn)品與解決方案的賣點(diǎn)，這一商業(yè)定位與 OpenAI 有所區(qū)別」，其或有機(jī)會(huì)在 AI 安全市場占得先機(jī)。
有意思的是，相比 Claude 給出短期、中長期的分析預(yù)測，ChatGPT 在面對相同的問題時(shí)，說法僅是「由于 Anthropic 的最新動(dòng)態(tài)不在我的知識(shí)范圍內(nèi)，我無法提供當(dāng)前的競爭態(tài)勢�！�
Claude 則總結(jié)道：「整體而言，Anthropic 與 OpenAI 的競爭將是一場蹲點(diǎn)戰(zhàn)，最終結(jié)果還難以預(yù)料。但無論結(jié)果如何，這場競賽都將有利于人工智能技術(shù)的發(fā)展與進(jìn)步�！�
