夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
OpenAI一次性拿出20%總算力，投入全新研究方向
超級(jí)智能對(duì)齊（Superalignment）。
先說(shuō)說(shuō)OpenAI的20%總算力什么概念？
光是微軟此前專門給他們打造的一臺(tái)超級(jí)計(jì)算機(jī)，就有285000塊CPU和上萬(wàn)塊英偉達(dá)A100 GPU。
外界沒人知道OpenAI現(xiàn)在擁有多少H100 GPU，只知道他們總?cè)谫Y113億美元，還要算上微軟額外提供的Azure云算力。
這番大手筆，仿佛直接在科技圈扔下一個(gè)炸彈。
再看這份公告中的微妙用詞區(qū)別：
不是通用人工智能（AGI），甚至干脆去掉了人工二字。
直接越級(jí)瞄準(zhǔn)如何控制超級(jí)智能，其定義為比人類聰明得多的AI系統(tǒng)（much smarter than us）。
正文則明晃晃地寫著：雖然看起來(lái)還很遙遠(yuǎn)，但我們相信超級(jí)智能將在這個(gè)十年段到來(lái)。
現(xiàn)在是2023年下半年，總共留給人類的時(shí)間還有6年半。
OpenAI給自己定的時(shí)限更短，只有4年。
控制“奧創(chuàng)”需要“賈維斯”
有網(wǎng)友將OpenAI公布的研究方法形容為“賈維斯vs奧創(chuàng)”。
OpenAI明白靠人類自己已無(wú)法完成，提出新概念自動(dòng)對(duì)齊研究員（automated alignment researcher）
也就是先訓(xùn)練一個(gè)大致達(dá)到人類水平的AI研究員，再投入大量算力快速迭代。
翻譯一下：先努力達(dá)到技術(shù)奇點(diǎn)，然后直接開啟大爆炸。
整個(gè)計(jì)劃的基石，就是先打造第一個(gè)自動(dòng)對(duì)齊研究員。
為此OpenAI提出一個(gè)臨時(shí)解決方案，分為三項(xiàng)：
開發(fā)一個(gè)可擴(kuò)展的訓(xùn)練方法
為了在人類難以評(píng)估的任務(wù)上提供訓(xùn)練信號(hào)，需要利用AI來(lái)協(xié)助評(píng)估其他AI系統(tǒng)，稱為“可擴(kuò)展的監(jiān)督”。
驗(yàn)證第一步產(chǎn)生的模型
為了驗(yàn)證系統(tǒng)的一致性，自動(dòng)搜索有問(wèn)題的行為和有問(wèn)題的內(nèi)部結(jié)構(gòu)。
對(duì)整個(gè)管道流程做壓力測(cè)試
通過(guò)故意訓(xùn)練不對(duì)齊的模型來(lái)測(cè)試整個(gè)管道，并確認(rèn)技術(shù)可以檢測(cè)到最糟糕的錯(cuò)誤類型，也就是對(duì)抗性測(cè)試。
為什么說(shuō)是臨時(shí)解決方案？
OpenAI預(yù)計(jì)隨著對(duì)問(wèn)題進(jìn)一步了解，研究重點(diǎn)將發(fā)生實(shí)質(zhì)性變化，很可能增加全新的研究領(lǐng)域。
再翻譯一下：只能走一步看一步。
首席科學(xué)家?guī)ш?duì)，成立全新部門
研究頂級(jí)的問(wèn)題需要頂級(jí)的團(tuán)隊(duì)。
OpenAI聯(lián)創(chuàng)和首席科學(xué)家Ilya Sutskever將與此前的對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike共同領(lǐng)導(dǎo)新部門。
而成員不光包括OpenAI自己的員工，也包括來(lái)自其它公司的研究人員。
Ilya Sutskever是2012年開啟深度學(xué)習(xí)時(shí)代的AlexNet作者之一，也是AlphaGo作者之一，此前已將AI對(duì)齊作為他的核心研究重點(diǎn)，總引用數(shù)超過(guò)40萬(wàn)。
Jan Leike則是ChatGPT的前身InstructGPT論文作者之一，并且早在2017年就參與了OpenAI與DeepMind合作的人類反饋強(qiáng)化學(xué)習(xí)方法。
Jan Leike認(rèn)為，OpenAI此次投資很可能比全人類此前對(duì)AI對(duì)齊研究的所有投資加起來(lái)還多。
算上這二位，目前新團(tuán)隊(duì)已有10位成員。
新一輪招聘也隨之開啟，分為研究經(jīng)理（年薪42萬(wàn)-50萬(wàn)美元），研究科學(xué)家與研究工程師（年薪24.5萬(wàn)-45萬(wàn)美元），兩種級(jí)別三個(gè)崗位。
誰(shuí)來(lái)監(jiān)管監(jiān)管者？
對(duì)于OpenAI的大動(dòng)作，學(xué)術(shù)界有不同觀點(diǎn)。
認(rèn)同的學(xué)者表示：自然智能通過(guò)競(jìng)爭(zhēng)的進(jìn)化獎(jiǎng)勵(lì)產(chǎn)生，AI通過(guò)對(duì)齊人類利益的進(jìn)化獎(jiǎng)勵(lì)產(chǎn)生，并期待未來(lái)的效果。
但也有人表示OpenAI從根本上就錯(cuò)誤地理解了“對(duì)齊”這個(gè)概念。
他認(rèn)為對(duì)齊不能是強(qiáng)制控制，而應(yīng)該是使雙方利益一致，類似于“堵不如疏”。
有網(wǎng)友吐槽“真不敢相信，AGI很可能在鴿了很久的《上古卷軸6》游戲之前到來(lái)。”
評(píng)論區(qū)有人指出，到時(shí)候你想玩什么游戲讓AI去做就好了。
也有網(wǎng)友靈魂發(fā)問(wèn)，誰(shuí)又來(lái)監(jiān)管監(jiān)管者呢？
參考鏈接：
[1]https://openai.com/blog/introducing-superalignment
[2]https://twitter.com/OpenAI/status/1676638358087553024
[3]https://www.reddit.com/r/singularity/comments/14rh1l1/superintelligence_possible_in_the_next_7_years/
完
量子位 QbitAI 頭條號(hào)簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
