讓AGI造福人類，不只是說說而已。
作者｜趙健
“如果AGI實(shí)現(xiàn)了，它會(huì)危及人類安全嗎？”
對(duì)于硅谷的AI獨(dú)角獸而言，這并不是杞人憂天的笑談，而是一個(gè)嚴(yán)肅的話題。
有多嚴(yán)肅？硅谷估值最高的三家AI獨(dú)角獸OpenAI、Anthropic、Inflection.ai，都把AI安全列入了公司章程。為了避免AI安全成為一句空洞的口號(hào)，它們通過改變公司的治理結(jié)構(gòu)來實(shí)現(xiàn)這一點(diǎn)。
OpenAI原本是一家非營(yíng)利性組織，對(duì)于AI技術(shù)的研發(fā)也是為了公共利益而非追逐財(cái)務(wù)回報(bào)。但是在2019年，OpenAI改變了初心盡管它并不承認(rèn)這一點(diǎn)變成了一家營(yíng)利性組織。對(duì)此，心有不甘的埃隆馬斯克正在與其對(duì)薄公堂，要求OpenAI給個(gè)交代。
跟非營(yíng)利性組織不同，Anthropic與Inflection.ai用了另外一種方式。他們把自己注冊(cè)為一種新的公司類型公益公司（Public-benefit corporation，PBC），并把“用人工智能造福人類”寫進(jìn)了公司章程。
公益公司仍然是營(yíng)利性公司，但是根據(jù)相關(guān)法律，公益公司的董事會(huì)不僅要追求股東的財(cái)務(wù)回報(bào)，還要追求更長(zhǎng)遠(yuǎn)的公共利益，并且需要定期出具報(bào)告。如果不遵守這些要求，可能會(huì)引發(fā)股東訴訟。
Anthropic通過設(shè)計(jì)了一個(gè)創(chuàng)新性的治理架構(gòu)長(zhǎng)期利益信托基金（The Long-Term Benefit Trust，LTBT），并發(fā)行一類特殊的T類股票來保障制度的執(zhí)行（Inflection.ai暫未公布治理細(xì)節(jié)）。
這樣一來，面對(duì)AI安全的威脅，世界上最頂尖的AI公司分成了兩個(gè)陣營(yíng)自稱非營(yíng)利性機(jī)構(gòu)的OpenAI，與作為公益公司的Anthropic與Inflection.ai。
自從OpenAI發(fā)生宮斗事件以來，人們對(duì)于OpenAI能否保持非營(yíng)利性的初心失去了信心。那么，公益公司會(huì)是更好的嘗試嗎？
至少，Anthropic正在給出一個(gè)比OpenAI更誠(chéng)懇的示范。
1.OpenAI如何上演“一出好戲”
2023年3月，在OpenAI發(fā)布GPT-4并獲得微軟100億美元加碼投資之后，馬斯克在X上表達(dá)了不滿：“我很困惑，我捐贈(zèng)了1億美元的非營(yíng)利組織，怎么變成了一個(gè)市值300億美元的營(yíng)利公司？”
今天，馬斯克的不滿已經(jīng)從牢騷上升到了訴訟。
幾乎沒有人質(zhì)疑OpenAI是目前世界上技術(shù)最強(qiáng)的AI公司。但是自從2023年11月CEO被罷免的人事風(fēng)波之后，人們開始對(duì)OpenAI的公司治理能力表示懷疑。
OpenAI經(jīng)歷過一次復(fù)雜的公司架構(gòu)改革。2015年成立時(shí)，OpenAI是一家非營(yíng)利組織，使命是“確保數(shù)字智能（2018年改為AGI）造福全人類”，公司的運(yùn)營(yíng)資金來自于馬斯克等人的捐款。
但是隨著研究的推進(jìn)，OpenAI發(fā)現(xiàn)人工智能系統(tǒng)除了需要算法創(chuàng)新，還需要使用最多的計(jì)算能力。根據(jù)OpenAI的估算，從2012年的AlexNet到2018年的AlphaGo Zero，計(jì)算量增加了30萬倍。
2019年，為了更高效、快速地進(jìn)行擴(kuò)展，OpenAI決定提高籌集資金的能力，而這顯然是無法通過非營(yíng)利組織的方式“用愛發(fā)電”來實(shí)現(xiàn)的。OpenAI成立之初籌集資金的目標(biāo)是10億美元，但實(shí)際上只收到了1.305億美元的捐款。
為此，OpenAI做出了一個(gè)“違背祖訓(xùn)”的決定，不再堅(jiān)持自己是一家純粹的非營(yíng)利組織。
OpenAI創(chuàng)建了一個(gè)營(yíng)利性子公司“OpenAI LP”，來籌集投資資金并以初創(chuàng)公司的股權(quán)吸引人才，大部分員工都被轉(zhuǎn)移到該子公司工作。而原先的公司實(shí)體稱之為“OpenAI Nonprofit”，保留公司的控制權(quán)。
為了保證OpenAI LP不是盲目追求利潤(rùn)，而是“使命至上”（確保創(chuàng)建和采用安全且有益的AGI），OpenAI設(shè)計(jì)了“利潤(rùn)的上限限制”第一輪投資者的回報(bào)上限為其投資的100倍，任何超出這個(gè)數(shù)額的回報(bào)都?xì)w原來的OpenAI Nonprofit實(shí)體所有。
在2019年OpenAI宣布成立營(yíng)利性子公司不久，微軟向其投資了10億美元，獲得49%的股權(quán)，并成為OpenAI的獨(dú)家云服務(wù)商。
盡管OpenAI一再強(qiáng)調(diào)，所有投資者與員工都簽署協(xié)議，規(guī)定OpenAI LP對(duì)公司憲章的義務(wù)始終放在第一位，即使以犧牲部分或全部財(cái)務(wù)股份為代價(jià)。但是，關(guān)于OpenAI違背初心，變成了一家由微軟在背后操控、以利潤(rùn)為導(dǎo)向的公司的批評(píng)不絕于耳。
一些員工也因此離職，其中最知名的當(dāng)屬阿莫迪兄妹達(dá)里奧阿莫迪（Dario Amodei）與丹妮拉阿莫迪（Daniela Amodei），兩人在2021年從OpenAI離職，并創(chuàng)立了OpenAI最大的競(jìng)爭(zhēng)對(duì)手Anthropic。
為了向公眾澄清公司的第一使命仍然是構(gòu)建對(duì)公眾有益的AGI，OpenAI在2023年6月進(jìn)一步披露了公司治理結(jié)構(gòu)的細(xì)節(jié)。
首先，非營(yíng)利組織OpenAI Nonprofit全資擁有并控制一個(gè)管理實(shí)體OpenAI GP LLC，該實(shí)體控制和管理營(yíng)利性子公司。
其次，董事會(huì)仍然是非營(yíng)利組織的董事會(huì)，每位董事必須履行其信托職責(zé)，來推進(jìn)“安全、廣泛受益的AGI”的使命。雖然營(yíng)利性子公司被允許賺取和分配利潤(rùn)，但它必須遵守這一使命。非營(yíng)利組織的主要受益者是人類，而不是OpenAI投資者。
第三，董事會(huì)保持多數(shù)獨(dú)立性。獨(dú)立董事不持有OpenAI股權(quán)，包括OpenAI CEO薩姆奧爾特曼也不直接持股。他只在全職加入OpenAI之前，通過Y Combinator對(duì)OpenAI進(jìn)行了小額投資。
第四，分配給包括微軟在內(nèi)的投資者和員工的利潤(rùn)受到限制。所有超出上限的剩余價(jià)值都將返還給非營(yíng)利組織，以造福人類。
第五，董事會(huì)決定何時(shí)實(shí)現(xiàn)AGI。AGI指的是一個(gè)高度自治的系統(tǒng)，在最具經(jīng)濟(jì)價(jià)值的工作中表現(xiàn)優(yōu)于人類。此類系統(tǒng)不包括在與微軟簽訂的IP許可和其他商業(yè)條款中，這些條款僅適用于AGI之前的技術(shù)。
OpenAI想要傳遞的思想是，“使命是目的，營(yíng)利是手段”。按照原計(jì)劃，這套看上去很復(fù)雜的治理架構(gòu)能夠讓OpenAI兼顧長(zhǎng)期的AGI使命與短期的經(jīng)濟(jì)回報(bào)。
OpenAI也預(yù)料到了兩者之間潛在的沖突，因此規(guī)定只有不持有公司股份的董事會(huì)成員才有投票權(quán)，以此來避免公司做出“短視決策”。
在人事政變之前，OpenAI董事會(huì)有6名成員，包括三位員工薩姆奧爾特曼、格雷格布羅克曼、伊利亞蘇茨克維，以及三位外部獨(dú)立董事。讓人萬萬沒有想到的是，奧爾特曼本人差一點(diǎn)就因?yàn)檫@套自己設(shè)計(jì)的機(jī)制被趕下臺(tái)。伊利亞蘇茨克維聯(lián)合外部董事以多數(shù)投票罷免了奧爾特曼CEO的職務(wù)。
不過，由于伊利亞很快倒戈轉(zhuǎn)向奧爾特曼的陣營(yíng)，在大股東微軟與全體員工的壓力下，董事會(huì)最終妥協(xié)，奧爾特曼回歸。
這“一出好戲”加劇了人們對(duì)于OpenAI公司治理的懷疑，其“讓AGI造福全人類”的使命是否只是一個(gè)堂而皇之的口號(hào)？
相比之下，由OpenAI前高管創(chuàng)立的Anthropic，在公司治理層面所付出的行動(dòng)看上去要更加誠(chéng)懇。
2.Anthropic的大型公司治理實(shí)驗(yàn)
Anthropic是比OpenAI更加關(guān)注AI安全的公司，并且采用了與OpenAI不同的方式。
Anthropic的兩位創(chuàng)始人阿莫迪兄妹原本是OpenAI的核心員工。哥哥達(dá)里奧阿莫迪擔(dān)任OpenAI研究副總裁，負(fù)責(zé)掌管公司安全并帶領(lǐng)團(tuán)隊(duì)研發(fā)GPT-2和GPT-3；妹妹丹妮拉阿莫迪擔(dān)任OpenAI安全政策副總裁。
2021年，兄妹兩人對(duì)OpenAI發(fā)展方向產(chǎn)生分歧，于是離職創(chuàng)辦了一家與OpenAI有不同價(jià)值觀的AI公司Anthropic，意思是“有人類有關(guān)的”。Anthropic的目標(biāo)是構(gòu)建一套可靠、可解釋、可控的“以人類（利益）為中心”的AI系統(tǒng)。
2023年9月在OpenAI公司詳細(xì)公司治理架構(gòu)的三個(gè)月后，Anthropic也對(duì)外公布了一種新的公司治理結(jié)構(gòu)，頗有一種對(duì)壘的意味。
Anthropic的創(chuàng)新在于，它采用了一種“公益公司+長(zhǎng)期利益信托基金”的治理方式。
首先，Anthropic是一家在特拉華州注冊(cè)的公益公司，這是公司的基矗
公益公司是一種新的公司類型。不同于OpenAI非營(yíng)利組織的“殼”，公益公司首先是一個(gè)營(yíng)利公司，但是同時(shí)也要求股東平衡財(cái)務(wù)利潤(rùn)與公共利益。
2010年4月，馬里蘭州成為美國(guó)第一個(gè)通過公益公司立法的州。截至2018年3月，36個(gè)州和華盛頓特區(qū)已通過立法，允許創(chuàng)建公益公司。
Anthropic與Inflection.ai都是公益公司。Anthropic公益目標(biāo)是“為了人類的長(zhǎng)期利益而負(fù)責(zé)任地開發(fā)和維護(hù)先進(jìn)的人工智能”；Inflection.ai的公益目標(biāo)是“開發(fā)利用人工智能的力量來改善人類福祉和生產(chǎn)力的產(chǎn)品和技術(shù)，同時(shí)尊重個(gè)人自由，為共同利益而努力，并確保我們的產(chǎn)品廣泛造福于當(dāng)代和子孫后代”。
但是，就像OpenAI需要面對(duì)且沒有解決好的問題一樣，如果股東的財(cái)務(wù)利益與公司的公共利益出現(xiàn)了沖突怎么辦？董事會(huì)要站在哪一邊？
為了解決這一潛在的矛盾，Anthropic設(shè)計(jì)了一種新的公司治理結(jié)構(gòu)長(zhǎng)期利益信托基金。
Anthropic成立之初就成立了該機(jī)構(gòu)，最早稱為“長(zhǎng)期利益委員會(huì)”，并在2021年寫入了公司的A輪融資文件，但那時(shí)候只是一個(gè)雛形。經(jīng)過兩年的調(diào)整與法律完善，長(zhǎng)期利益委員會(huì)演化為更成熟的長(zhǎng)期利益信托基金。
長(zhǎng)期利益信托基金是一個(gè)獨(dú)立機(jī)構(gòu)，目前由五位人工智能安全、國(guó)家安全、政策和社會(huì)企業(yè)方面具有背景和專業(yè)知識(shí)的受托人組成，受托人的職責(zé)就是免受Anthropic的經(jīng)濟(jì)利益影響，可以獨(dú)立地平衡公眾利益與股東利益。
Anthropic董事會(huì)在為期一年的搜索和面試過程中選擇了這些初始受托人，以發(fā)現(xiàn)那些表現(xiàn)出深思熟慮、堅(jiān)強(qiáng)品格以及對(duì)AI的風(fēng)險(xiǎn)、利益和對(duì)社會(huì)影響有深刻理解的個(gè)人。受托人任期一年，未來的受托人將由受托人的投票選舉。
長(zhǎng)期利益信托基金具體有什么權(quán)力？在2023年5月C輪融資結(jié)束時(shí)，Anthropic修改了公司章程，創(chuàng)建了一種新的股票類別（T類），由信托獨(dú)家持有。
T類股票授予信托選舉和移除Anthropic董事會(huì)成員的權(quán)力實(shí)際上創(chuàng)立了一種新的股東類型，這些權(quán)力將根據(jù)時(shí)間和資金的里程碑逐步實(shí)施。總的來說，信托基金將在4年內(nèi)選舉董事會(huì)的多數(shù)成員。同時(shí)，Anthropic創(chuàng)建了一個(gè)新的董事席位，將由C輪及其后的投資者選舉，以確保投資者的觀點(diǎn)在未來直接在董事會(huì)上得到代表。
Anthropic表示，長(zhǎng)期利益信托是一項(xiàng)關(guān)于公司治理的大型社會(huì)實(shí)驗(yàn)，此前并沒有任何參考案例，但這是經(jīng)過深思熟慮來設(shè)計(jì)的。Anthropic稱自己是“實(shí)證主義者”，想看看它是如何工作的。
為了防止這種設(shè)計(jì)被輕易推翻，Anthropic設(shè)計(jì)了一個(gè)修訂過程，大多數(shù)調(diào)整將通過受托人和董事會(huì)的協(xié)議進(jìn)行，或者受托人與其他股東的協(xié)議進(jìn)行。
當(dāng)然，信托基金的權(quán)力不是無限的。由于其實(shí)驗(yàn)性質(zhì)，Anthropic還設(shè)計(jì)了一系列“保險(xiǎn)絲”條款，如果足夠大的股東多數(shù)同意，允許在沒有受托人同意的情況下更改信托及其權(quán)力。
Anthropic為什么要這么做？
Anthropic認(rèn)為，公司治理產(chǎn)生社會(huì)有益成果的能力很大程度上取決于非市場(chǎng)外部性（Non-market externalities，指在沒有市場(chǎng)交易的情況下，一個(gè)經(jīng)濟(jì)主體的行為對(duì)另一個(gè)經(jīng)濟(jì)主體產(chǎn)生的間接影響）。非市場(chǎng)外部性的影響可以是正面的也可以是負(fù)面的，其中一方的行為影響了第三方的福利，而這種影響沒有通過市場(chǎng)價(jià)格機(jī)制得到補(bǔ)償或懲罰。
常見的正面外部性的例子是教育，個(gè)人接受教育不僅提高了自己的生產(chǎn)力，也提高了社會(huì)的整體知識(shí)水平和創(chuàng)新能力；常見的負(fù)面外部性的例子是污染，工廠排放的污染物可能對(duì)周圍環(huán)境和居民的健康造成損害，而這些成本并沒有在工廠的生產(chǎn)成本中體現(xiàn)出來。
Anthropic認(rèn)為，人工智能將會(huì)創(chuàng)造前所未有的巨大外部性影響，從國(guó)家安全風(fēng)險(xiǎn)到大規(guī)模的經(jīng)濟(jì)破壞，從對(duì)人類的根本性威脅到對(duì)人類安全和健康的巨大利益。技術(shù)的發(fā)展如何迅猛，以至于約束其高外部性的法律和社會(huì)規(guī)范尚未跟上步伐。
Anthropic愿意做一個(gè)吃螃蟹的公司。
值得一提的是，Anthropic認(rèn)為日常所做的大多數(shù)決策，公共利益與股東回報(bào)并不矛盾，通常是強(qiáng)烈協(xié)同的：建立有效的安全研究的能力取決于建立前沿模型，建立前沿模型的同時(shí)也會(huì)在商業(yè)成功上獲得極大回報(bào)。
這種觀點(diǎn)與OpenAI一致。國(guó)內(nèi)像周鴻也表達(dá)過類似的觀點(diǎn)：“不發(fā)展才是最大的不安全。”
Anthropic表示長(zhǎng)期利益信托基金不會(huì)介入這些日常決策，而是主要關(guān)注人類的長(zhǎng)期利益以及極端事件。
3.誰是更好的治理方式？
OpenAI與Anthropic分別代表了估值第一與第二的AI獨(dú)角獸，有相似的使命、相似的理念、相似的人才與技術(shù)能力，但采取了不同的治理模式。
哪一種模式更好？
Anthropic的優(yōu)點(diǎn)在于，通過公益公司相關(guān)法律的約束，來平衡股東與公眾的利益，需要定期向所有者報(bào)告公司是如何促進(jìn)其公共利益的。如果不遵守這些要求，可能會(huì)引發(fā)股東訴訟。
而且，Anthropic還通過長(zhǎng)期利益信托基金以及發(fā)行T類股票的形式，來提供適當(dāng)?shù)慕?jīng)濟(jì)利益，并賦予任命與解雇董事會(huì)成員的權(quán)力。
盡管也會(huì)存在很多問題，但這比OpenAI的治理模式更加具有實(shí)際意義。
OpenAI模式最大的問題在于“信任”。奧爾特曼的回歸核心在于他對(duì)OpenAI的發(fā)展功勛卓著且贏得了微軟的支持與員工的民心，但本質(zhì)上已經(jīng)打破了之前設(shè)計(jì)的規(guī)則。
事實(shí)證明，盡管OpenAI董事會(huì)的獨(dú)立董事有權(quán)作出他們認(rèn)為的正確選擇，但最終的結(jié)果是，投資人與CEO對(duì)OpenAI的發(fā)展方向有不可替代的發(fā)言權(quán)。
OpenAI的治理結(jié)構(gòu)還需要進(jìn)一步完善。2023年11月29日奧爾特曼回歸公司時(shí)，OpenAI表示將“將加強(qiáng)OpenAI的治理結(jié)構(gòu)，讓所有利益相關(guān)者用戶、客戶、員工、合作伙伴和社區(qū)成員都能相信OpenAI將繼續(xù)蓬勃發(fā)展”。
上周，OpenAI組建了新的董事會(huì)，除了奧爾特曼回歸之外，還增加了三名女性獨(dú)立董事，總?cè)藬?shù)從去年的6人擴(kuò)展到8人。
同時(shí)，OpenAI繼續(xù)強(qiáng)調(diào)了下一步的進(jìn)展，聚焦在公司治理層面：
采用一套新的公司治理準(zhǔn)則；
加強(qiáng)OpenAI的利益沖突政策；
創(chuàng)建舉報(bào)熱線，作為所有OpenAI員工和承包商的匿名舉報(bào)資源；
創(chuàng)建額外的董事會(huì)委員會(huì)，包括專注于OpenAI核心使命的實(shí)施和推進(jìn)的使命與戰(zhàn)略委員會(huì)。
OpenAI可能會(huì)在未來某個(gè)時(shí)間點(diǎn)公布具體細(xì)節(jié)。
OpenAI會(huì)像Anthropic那樣變成一家公益公司嗎？還是繼續(xù)在現(xiàn)有治理架構(gòu)上做出更多的創(chuàng)新？
不論最終結(jié)果如何，這些世界一流的AI公司，正在嘗試新的有關(guān)全人類利益的可能性。這是大眾愿景看到的事情。
（封面圖來自Anthropic）
