展會(huì)信息港展會(huì)大全

有效利他主義與現(xiàn)實(shí):OpenAI革命性的治理模式已死?
來源:互聯(lián)網(wǎng)   發(fā)布日期:2023-11-20 14:45:16   瀏覽:4869次  

導(dǎo)讀:【編者按】在震驚科技界的OpenAI管理層變天中,對(duì)創(chuàng)始人山姆奧特曼被突然解雇最普遍的說法是,一個(gè)長期存在的問題導(dǎo)致了管理層的分裂:奧特曼致力于將OpenAI(最初是一家非營利組織)轉(zhuǎn)變?yōu)橐患页晒Φ钠髽I(yè),希望公司快速推出產(chǎn)品和吸引客戶,引發(fā)了董事會(huì)成...

【編者按】在震驚科技界的OpenAI管理層“變天”中,對(duì)創(chuàng)始人山姆奧特曼被突然解雇最普遍的說法是,一個(gè)長期存在的問題導(dǎo)致了管理層的分裂:奧特曼致力于將OpenAI(最初是一家非營利組織)轉(zhuǎn)變?yōu)橐患页晒Φ钠髽I(yè),希望公司快速推出產(chǎn)品和吸引客戶,引發(fā)了董事會(huì)成員對(duì)人工智能工具安全性的擔(dān)憂。

尤其是創(chuàng)始人、首席科學(xué)家伊爾亞蘇茨克維(Ilya Sutskever),對(duì)安全問題的擔(dān)憂越來越直言不諱,并在7月組建了一個(gè)“對(duì)齊(注:引導(dǎo)人工智能系統(tǒng)的行為使其符合設(shè)計(jì)者的利益和預(yù)期目標(biāo))”團(tuán)隊(duì)。消息人士透露,他和奧特曼的緊張關(guān)系在10月加劇,到了11月6日OpenAI首屆開發(fā)者大會(huì),奧特曼宣布允許任何人創(chuàng)建自定義的GPT,激怒了蘇茨克維。

對(duì)于一家正在談判以高達(dá)860億美元估值出售股票的公司來說,理念上的分歧通常不會(huì)讓它走向滅亡,但OpenAI不是一家普通公司。它從建立之初就不一樣,隨后設(shè)定的權(quán)力結(jié)構(gòu)和董事會(huì)性質(zhì)都不一樣。

要明白OpenAI此次不尋常地震的緣由,就必須了解其歷史和哲學(xué)。11月20日,知名科技博客Techtris發(fā)表文章,詳細(xì)解釋和梳理了OpenAI治理模式的矛盾之處,并判斷:OpenAI試圖向大型科技公司展示以不同于以往的方式運(yùn)營,但失敗了。以下為這篇文章的內(nèi)容:

今年6月,山姆奧特曼(中)和伊爾亞蘇茨克維(右)在以色列的一次活動(dòng)上發(fā)言。

OpenAI是人工智能運(yùn)動(dòng)的時(shí)代精神企業(yè),它在一周的時(shí)間里從表面上的勝利變成了災(zāi)難。

本周早些時(shí)候舉行的大型產(chǎn)品演示“開發(fā)者日”表明該公司正在加速其技術(shù)的商業(yè)化和實(shí)際推廣。但周五(11月17日)下午,該公司董事會(huì)宣布首席執(zhí)行官山姆奧特曼(Sam Altman)也許是人工智能最著名的倡導(dǎo)者和首席執(zhí)行官將立即離職。

官方聲明沒有做出任何努力來掩蓋這是一次開除,稱董事會(huì)對(duì)奧特曼失去了信心。不同尋常的是,也幾乎沒有做出任何努力納入重要的利益相關(guān)者:股東和高級(jí)管理人員完全不參與其中。

該公司現(xiàn)在似乎正在崩潰:高級(jí)管理人員正在離職,投資者想要答案,據(jù)報(bào)道董事會(huì)正在尋求奧特曼的回歸。除非你了解OpenAI的奇怪歷史、它的哲學(xué),以及它現(xiàn)在如何與現(xiàn)實(shí)發(fā)生沖突,否則所發(fā)生的事情看起來是不可理解的。

一切都始于有效利他主義

有效利他主義(Effective Altruism)我之前寫過最初是慈善領(lǐng)域的一個(gè)相對(duì)簡單的想法:在最有效的地方捐款,而不是僅僅為了“溫暖的光輝”而無效地捐款。

有效利他主義運(yùn)動(dòng)的創(chuàng)始人、英國哲學(xué)教授威廉麥克阿斯基爾(William MacAskill)。

其早期邏輯是根據(jù)經(jīng)驗(yàn)測試不同干預(yù)措施的有效性,并為那些效果最好的干預(yù)措施提供資金這傾向于表明,將資金瞄準(zhǔn)最貧困國家和最貧困人口,會(huì)比瞄準(zhǔn)富裕國家取得更好的結(jié)果,驅(qū)蟲或者蚊帳等干預(yù)措施特別受歡迎。

鑒于以功利主義數(shù)學(xué)為基礎(chǔ),該運(yùn)動(dòng)開始吸引來自大型科技公司的支持者,他們開始進(jìn)一步推動(dòng)這一邏輯。當(dāng)你可以通過賺更多錢來增加捐款數(shù)額時(shí),為什么只關(guān)注捐贈(zèng)的錢呢?這種邏輯表明,如果你有能力,在對(duì)沖基金或大型科技公司工作并進(jìn)行捐贈(zèng)比為慈善機(jī)構(gòu)工作更道德。名譽(yù)掃地的前FTX(注:全球最大加密貨幣交易所之一)老板山姆班克曼-弗里德 (Sam Bankman-Fried)在倒臺(tái)之前一直是這一信條的典型代表。

這個(gè)邏輯可以進(jìn)一步推演:為什么我們應(yīng)該只考慮今天還活著的人?如果未來的人口可能比今天多數(shù)十億(甚至數(shù)萬億),那么針對(duì)長期的干預(yù)措施可能會(huì)比今天實(shí)施的干預(yù)措施更加有效。

這種邏輯將信奉有效利他主義的人指向兩件事:星際定居(這樣人類就可以在地球滅絕事件之后生存)和通用人工智能(AGI)人工智能的超級(jí)智能版本,如果正確“對(duì)齊”,可以為人類謀福利,極大地提高我們生存的長度和質(zhì)量。

對(duì)齊上的“如果”非常重要:那些尋求高度先進(jìn)的AGI的人,已經(jīng)看過我們其他人所看過的所有相同的人類與機(jī)器人電影,并且同樣意識(shí)到人工智能可能會(huì)輕松終結(jié)人類,就像舉起人一樣輕松。

這就是OpenAI應(yīng)該發(fā)揮作用的地方。

進(jìn)入OpenAI

簡而言之,OpenAI最初是作為一個(gè)真正的非營利組織成立的,其目標(biāo)是推進(jìn)安全AGI的引入。

這是壓倒一切的優(yōu)先事項(xiàng),無意關(guān)注利潤動(dòng)機(jī)或風(fēng)險(xiǎn)資本家的巨額回報(bào)。包括埃隆馬斯克在內(nèi)的資助者似乎承諾在該組織的發(fā)展過程中向該組織提供數(shù)十億美元,因此它不需要擔(dān)心支付該項(xiàng)目的賬單。

由于各種原因一如往常,包括性格沖突和方向差異這種“純粹”的非營利模式并沒有持續(xù)多久,OpenAI原本以為可以從馬斯克那里得到的錢也枯竭了。這使得OpenAI需要嘗試吸引商業(yè)參與者的投資,他們合理地希望一家公司能夠給他們帶來回報(bào)。

在奧特曼領(lǐng)導(dǎo)的一系列舉措中,OpenAI轉(zhuǎn)向了混合結(jié)構(gòu)值得提一下,奧特曼本人是OpenAI許多非商業(yè)動(dòng)機(jī)的真誠信徒。它將能夠?yàn)橥顿Y者帶來利潤和回報(bào),甚至有可能最終進(jìn)行首次公開募股。

OpenAI的組織結(jié)構(gòu)。

然而,投資者被警告說,他們應(yīng)該考慮到OpenAI可能永遠(yuǎn)不會(huì)產(chǎn)生利潤,該公司不會(huì)主要專注于實(shí)現(xiàn)利潤,而且他們最好認(rèn)為,任何投資都更接近于捐贈(zèng),而不是產(chǎn)生回報(bào)。

OpenAI最大的投資者(注:微軟)沒有在董事會(huì)中獲得席位,甚至奧特曼本人也沒有該公司的任何股權(quán)這對(duì)于該行業(yè)來說幾乎是聞所未聞的情況。從理論上講,該模式將吸引志同道合的投資者,愿意接受極其不尋常的治理情況,這將有助于公司專注于其使命。

作為交換,投資者可以預(yù)期的回報(bào)規(guī)模有一個(gè)相對(duì)慷慨的上限:即他們投入的100倍。因此,投資了10億美元的微軟最多可以期望1000億美元的回報(bào)。

這些顯然是天文數(shù)字的回報(bào),但在大型科技領(lǐng)域并非完全聞所未聞因此,從本質(zhì)上講,你的投資可能會(huì)取得巨大成功,你將永遠(yuǎn)擁有其收入的可觀份額,但如果公司實(shí)現(xiàn)了AGI,就不是那么回事了。

直到上周左右,這種模式似乎還有效。OpenAI越來越成為一個(gè)名字,而不是一個(gè)原則,因?yàn)樗傻哪P驮缫巡辉倌J(rèn)開源,而且該公司現(xiàn)在運(yùn)營的開源程度不如Meta的人工智能項(xiàng)目。

那么……出了什么問題?

什么才算有效?

情況仍然不明朗,但據(jù)我們所知,山姆奧特曼被趕下臺(tái)的核心是創(chuàng)始人之間的舊式糾紛。據(jù)稱,OpenAI首席科學(xué)家兼聯(lián)合創(chuàng)始人伊爾亞蘇茨克維(Ilya Sutskever)是此次罷免的幕后推手基于對(duì)商業(yè)化與研究速度的擔(dān)憂,以及是否對(duì)安全性給予足夠重視。

OpenAI現(xiàn)在擁有一款熱門產(chǎn)品,很多人認(rèn)為它即將在不久的將來用于內(nèi)容生成、呼叫中心管理等眾多用途。還有多種具有類似功能的競爭對(duì)手產(chǎn)品。

在這里,有效利他主義的邏輯不再提供明確的答案,特別是對(duì)于那些認(rèn)為強(qiáng)大的通用人工智能在中期內(nèi)可能實(shí)現(xiàn),并且在不同程度上擔(dān)心其危險(xiǎn)的人。

一組邏輯告訴你:做研究是昂貴的,如果你有錢,做昂貴的事情會(huì)容易得多。收入是獨(dú)立性的最佳保證,因此OpenAI應(yīng)該將其擁有的技術(shù)貨幣化,以便成為現(xiàn)在人工智能和人工智能安全辯論的主要參與者,并為真正的通用人工智能的工作提供資金。

另一組邏輯告訴你,今天的商業(yè)干擾和妥協(xié)將阻止本應(yīng)繼續(xù)建設(shè)未來的工作無論這意味著更加努力、更快地專注于開發(fā)通用人工智能,還是首先停下來研究如何安全地做到這一點(diǎn)。

今天,任何一個(gè)人都會(huì)有反對(duì)商業(yè)化的論點(diǎn)而且在有效利他主義的數(shù)學(xué)方法下,所有這3個(gè)論點(diǎn)都是合理的。這僅取決于你如何設(shè)定不同的不可知風(fēng)險(xiǎn)和回報(bào)。事實(shí)證明,有效利他主義并不能真正起到逃避戰(zhàn)略決策的作用現(xiàn)實(shí)中很少有真正的“正確”答案。

有效利他主義與現(xiàn)實(shí)

從表面上看,OpenAI董事會(huì)所做的一切完全在其權(quán)力范圍內(nèi)。它的章程賦予其罷免首席執(zhí)行官的權(quán)力,投資者知道他們?cè)诙聲?huì)中沒有席位,也不會(huì)獲得席位。他們還知道已簽署文件確認(rèn)他們知道OpenAI不會(huì)采取行動(dòng)來最大化他們的回報(bào)。投資者針對(duì)這一決定提起訴訟將很難獲勝。

然而,世界實(shí)際上并不是這樣運(yùn)作的。你可能在紙面上擁有很大的權(quán)威,然后發(fā)現(xiàn)它在實(shí)踐中幾乎毫無意義。簡單的現(xiàn)實(shí)是,奧特曼是大多數(shù)高級(jí)員工忠誠的人,沒有什么可以阻止他在周一創(chuàng)辦一家新的人工智能初創(chuàng)公司。

不像OpenAI,由于(新公司)提供了不受任何投資限制的回報(bào)選擇,很明顯OpenAI的幾位主要支持者會(huì)愿意更換團(tuán)隊(duì)他們中的幾位此時(shí)已經(jīng)公開表示了這一點(diǎn)。很明顯,許多高級(jí)員工將挪窩。

OpenAI將面臨所有高級(jí)團(tuán)隊(duì)被掏空、投資者支持同時(shí)崩潰的局面,而在這種背景下它還需要擊退新的競爭對(duì)手。董事會(huì)根本沒有認(rèn)識(shí)到非正式的權(quán)力力量,而是過度關(guān)注正式的權(quán)力力量。

這幾乎與董事會(huì)的失敗一樣引人注目:他們的全部目的是看到整體,而不僅僅是適合他們的部分。它也顯示了有效利他主義的更廣泛問題:理論上很容易將事物簡化為規(guī)則、排名、文件等。當(dāng)它遇到現(xiàn)實(shí)時(shí)就會(huì)崩潰。

接下來會(huì)發(fā)生什么誰也說不準(zhǔn)。據(jù)報(bào)道,OpenAI董事會(huì)正試圖吸引奧特曼回來如果不對(duì)董事會(huì)進(jìn)行重大治理和人事變動(dòng),他不愿意這樣做,這是可以理解的。投資者不太可能愿意在沒有董事會(huì)席位的情況下維持更長時(shí)間。

OpenAI目前的治理模式已經(jīng)死亡一件有意思的事情是,如果奧特曼回歸,這位富有利他主義、富有同情心的CEO是否愿意容忍對(duì)自己權(quán)力的限制。最重要的是,OpenAI試圖建立一家大型科技初創(chuàng)公司,而創(chuàng)始人/首席執(zhí)行官并未擁有無懈可擊的權(quán)力。

OpenAI正試圖通過兩種方式改變世界:構(gòu)建安全且革命性的人工智能模型,以及向大型科技公司展示可以以不同于以往的方式運(yùn)營。對(duì)于前者還沒有定論,但后者的實(shí)驗(yàn)現(xiàn)在看起來非常失敗。

贊助本站

人工智能實(shí)驗(yàn)室
AiLab云推薦
推薦內(nèi)容
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港