展會(huì)信息港展會(huì)大全

OpenAI CEO首次在中國演講,楊立昆反擊5年內(nèi)GPT將被拋棄
來源:互聯(lián)網(wǎng)   發(fā)布日期:2023-06-14 08:44:22   瀏覽:7565次  

導(dǎo)讀:文|林志佳 編輯|李小年 作為連續(xù)舉辦五屆的重要學(xué)術(shù)性會(huì)議,智源大會(huì)已經(jīng)有超過500位頂尖專家參與。今年則包括圖靈獎(jiǎng)得主 Geoffrey Hinton,圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一的楊立昆(Yann LeCun),OpenAI CEO薩姆奧爾特曼(Sam Altman),中國科學(xué)院張鈸...

文|林志佳

編輯|李小年

作為連續(xù)舉辦五屆的重要學(xué)術(shù)性會(huì)議,智源大會(huì)已經(jīng)有超過500位頂尖專家參與。今年則包括圖靈獎(jiǎng)得主 Geoffrey Hinton,“圖靈獎(jiǎng)”得主、“深度學(xué)習(xí)三巨頭”之一的楊立昆(Yann LeCun),OpenAI CEO薩姆奧爾特曼(Sam Altman),中國科學(xué)院張鈸院士等 AI 領(lǐng)域重磅人士,共議人工智能前沿與熱點(diǎn)話題。

6月10日,奧爾特曼在中國首次演講,大談 AI 風(fēng)險(xiǎn)與未來通用 AI 發(fā)展模式,直言為了弄清楚通用 AI 技術(shù),OpenAI必須要推進(jìn) AI 研究變革。

但是,AI 學(xué)術(shù)界卻并不完全認(rèn)同奧爾特曼的說法。加州伯克利分校教授斯圖爾特羅素(Stuart Russell)現(xiàn)場低頭修改 PPT,完全沒有在看奧爾特曼,甚至演講中抨擊OpenAI研發(fā)的ChatGPT和GPT-4沒有在“回答”問題,它們不理解世界,也不是一個(gè)通用 AI 的發(fā)展步驟。

楊立昆則反擊GPT,認(rèn)為這種自回歸模型根本不行,沒有規(guī)劃、推理的能力,隨著文本數(shù)據(jù)越大錯(cuò)誤率更高,AI 的下一步應(yīng)該是世界級模型。他預(yù)測,未來5年內(nèi),沒有腦子正常的人會(huì)接著用自回歸LLM(大型語言模型),GPT系統(tǒng)將很快被拋棄。

隨著大模型已成為 AI 產(chǎn)業(yè)發(fā)展的主導(dǎo)力量,一場學(xué)術(shù)界和 OpenAI 之間的思辨已經(jīng)開始。

01

Sam Altman:

十年內(nèi)可能就有非常強(qiáng)大的AI系統(tǒng)

我們要立刻做好準(zhǔn)備

隨著ChatGPT風(fēng)靡全球,ChatGPT之父、OpenAI聯(lián)合創(chuàng)始人、CEO奧爾特曼(Sam Altman)的一舉一動(dòng)也引發(fā)關(guān)注。

近期奧爾特曼在做「全球巡回講演」,到訪了阿聯(lián)酋、印度和韓國等五大洲近20個(gè)國家,會(huì)面政界和商界領(lǐng)袖,頻頻釋放OpenAI將不會(huì)IPO上市、AI就像原子彈一樣需要監(jiān)管規(guī)范、投資韓國初創(chuàng)公司等重要信息,展示出 OpenAI 與政府合作的誠意。

此次智源大會(huì)AI安全與對齊論壇上,奧爾特曼發(fā)表了開場演講和參與一場對話,總時(shí)長約40分鐘。這也是自ChatGPT爆火之后,奧爾特曼在中國的首次公開演講。

奧爾特曼表示,這次世界巡演他會(huì)見了學(xué)生、開發(fā)者和國家元首,這次旅行激勵(lì)了他,因?yàn)橐呀?jīng)看到世界各地的人們已經(jīng)在使用 AI 技術(shù),并且從用戶那里得到反饋,而且有機(jī)會(huì)與各國對于 AI 安全監(jiān)管進(jìn)行有意義的對話,這對于確保日益強(qiáng)大、安全可靠的 AI 系統(tǒng)部署很重要。

他認(rèn)為,全球大部分注意力集中在當(dāng)今 AI 問題上,“鑒于我們已經(jīng)取得的進(jìn)展,我相信我們將實(shí)現(xiàn)這一目標(biāo)。”而他希望談?wù)勎磥怼?/p>

具體來說,奧爾特曼提到,我們現(xiàn)在正見證一場 AI 革命,因此需要將把負(fù)責(zé)任的 AI 技術(shù)引入世界。他強(qiáng)調(diào),十年內(nèi)世界可能就有非常強(qiáng)大的AI系統(tǒng)。

“想象一下,在全球下一個(gè)十年里,通用 AI 系統(tǒng)或許具有 10 萬行二進(jìn)制代碼,幾乎在每個(gè)領(lǐng)域都超越了人類的專業(yè)知識(shí)。這些系統(tǒng)最終可能會(huì)超過我們最大公司的集體生產(chǎn)力。AI 革命將創(chuàng)造共享財(cái)富,并使大幅提高每個(gè)人的生活水平成為可能,但為了實(shí)現(xiàn)這一目標(biāo),我們必須共同管理風(fēng)險(xiǎn)。”奧爾特曼稱。

他強(qiáng)調(diào),通用 AI 將從根本上改變我們文明的強(qiáng)大力量,有意義的國際合作和協(xié)調(diào)非常必要,每個(gè)人都會(huì)從合作治理方法中受益。如果我們安全、負(fù)責(zé)任地駕馭這條道路,AGI系統(tǒng)可以為全球經(jīng)濟(jì)創(chuàng)造無與倫比的經(jīng)濟(jì)繁榮,解決氣候變化和全球健康安全等共同挑戰(zhàn),并提高社會(huì)福祉。

對于國際合作,在安全部署人工智能(AI)方面建立全球信任,奧爾特曼提出三種方式:可擴(kuò)展的監(jiān)督、可解釋性、泛化(概括)的 AI。

奧爾特曼認(rèn)為,人類不太可能發(fā)現(xiàn)一些惡意模型是否在做一些邪惡的事情。所以他正在投資一些新的、互補(bǔ)的研究方向,希望能夠?qū)崿F(xiàn)突破。

而可擴(kuò)展的監(jiān)督是嘗試使用 AI 系統(tǒng)來協(xié)助人類發(fā)現(xiàn)其他系統(tǒng)缺陷,而解釋能力是用GPT-4解釋GPT-2神經(jīng)元,雖然還有很長的路要走,但OpenAI 相信機(jī)器學(xué)習(xí)技術(shù)可進(jìn)一步提高 AI 可解釋能力。

奧爾特曼強(qiáng)調(diào),最終目標(biāo)是,訓(xùn)練 AI 系統(tǒng)來幫助對齊研究本身,因?yàn)槲磥淼哪P妥兊迷絹碓街悄埽絹碓接袔椭,從而更好的?shí)現(xiàn)通用 AI 這個(gè)目標(biāo)優(yōu)勢,同時(shí)降低 AI 風(fēng)險(xiǎn)安全。

“我們看到了美國、中國和世界各地的研究人員合作實(shí)現(xiàn) AI 目標(biāo)的巨大潛力,大家都致力于解決通用 AI 技術(shù)挑戰(zhàn)。我相信我們將能夠利用通用 AI 來解決世界上最重要的問題,并顯著改善人類的生活質(zhì)量。”奧爾特曼在演講結(jié)尾表示。

隨后智源研究院理事長張宏江博士對話奧爾特曼。

張宏江拋出了一些關(guān)于 AI 安全的關(guān)鍵問題,而奧爾特曼現(xiàn)場透露了關(guān)于 AI 安全、開源計(jì)劃以及是否會(huì)短期內(nèi)有GPT-5等信息,鈦媒體App梳理出其中回答的幾個(gè)關(guān)鍵內(nèi)容:

奧爾特曼認(rèn)為,在10年內(nèi)全球?qū)⒖赡軗碛幸粋(gè)強(qiáng)大的 AI 系統(tǒng),我們要立刻做好準(zhǔn)備。

在世界巡回之后,奧爾特曼發(fā)現(xiàn),人們非常認(rèn)真地對待通用 AI 的風(fēng)險(xiǎn)和機(jī)遇。他直言,全球合作總是困難的,但這是一種機(jī)遇,AI 確實(shí)讓世界走到了一起,他可以為系統(tǒng)提出一個(gè)框架和安全標(biāo)準(zhǔn)。奧爾特曼強(qiáng)調(diào),我們必須設(shè)計(jì)公平、具有代表性和包容性的 AI 系統(tǒng)。

他特別引用了老子《道德經(jīng)》中的話:千里之行,始于足下。他認(rèn)為,當(dāng)下可以邁出的最有建設(shè)性的一步,是國際科技界間的通力合作。

奧爾特曼在對話中贊揚(yáng),中國擁有一些世界上最優(yōu)秀的 AI 人才。考慮到解決 AI 系統(tǒng)對齊的困難需要來自世界各地最好的頭腦,所以他真的希望,中國的 AI 研究人員能夠在 AI 風(fēng)險(xiǎn)方面做出巨大的貢獻(xiàn)。

下一步,OpenAI 對于強(qiáng)大 AI 大模型的技術(shù)重點(diǎn)是訓(xùn)練,而且他準(zhǔn)備在全球建立一套數(shù)據(jù)庫,以反映全球 AI 的價(jià)值觀和偏好,以及開發(fā)表格來分享 AI 安全研究。

當(dāng)張宏江提問:OpenAI會(huì)開源大模型嗎?奧爾特曼表示,我們未來會(huì)有更多開源,但沒有具體模型和時(shí)間表。

當(dāng)被問及通用AI和大模型的下一步是什么?會(huì)很快看到GPT-5嗎?奧爾特曼表示,我也很好奇,我們沒有答案。我們不會(huì)很快有GPT-5。

對于為什么要發(fā)展OpenAI,奧爾特曼表示,當(dāng)開始做OpenAI 的時(shí)候,我們認(rèn)為成功的可能性很低。但如果要弄清楚如何構(gòu)建AGI,OpenAI要推進(jìn) AI 變革。當(dāng)然,作為其中的一部分,OpenAI必須確保安全,但對社會(huì)的好處是巨大的。“我真的相信這(AGI)將是社會(huì)所建立的最具變革性的東西。

奧爾特曼會(huì)后還發(fā)推文對這次受邀演講表示感謝。

不過有趣的是,在奧爾特曼演講期間,下一位演講者加州伯克利分校教授、計(jì)算機(jī)科學(xué)家斯圖爾特羅素(Stuart Russell)低頭修改 PPT,完全沒有在看奧爾特曼。

他甚至在演講時(shí)直言:通用人工智能(AGI)還沒達(dá)到,大語言模型只是其中一塊拼圖,我們連拼圖最終會(huì)是什么樣子,缺哪些還不確定。他表示,ChatGPT和GPT-4沒有在“回答”問題,它們不理解世界。

這一定程度上似乎能說明 AI 學(xué)術(shù)界對于奧爾特曼這種“打太極”觀點(diǎn)的認(rèn)同程度。

02

楊立昆對戰(zhàn)Max Tegmark:

到底應(yīng)樂觀發(fā)展 AI 還是加強(qiáng)控制?

除了奧爾特曼,6月9日智源大會(huì)上還有一場比較精彩的演講,凌晨4點(diǎn)在法國連線的“圖靈獎(jiǎng)”得主、“深度學(xué)習(xí)三巨頭”之一、Meta首席人工智能(AI)科學(xué)家楊立昆(Yann LeCun),以及未來生命研究所創(chuàng)始人、知名的物理學(xué)家和 AI 科學(xué)家Max Tegmark的演講和對話交流,共談 AI 風(fēng)險(xiǎn)與挑戰(zhàn)。

楊立昆認(rèn)為,我們應(yīng)該樂觀發(fā)展人工智能,現(xiàn)在遠(yuǎn)沒到緊張的時(shí)候。但TegMark則直言,現(xiàn)在就要加強(qiáng)管控 AI 技術(shù)。

在演講中,楊立昆拿出了反擊GPT的邏輯:自回歸模型根本不行,因?yàn)樗鼈儧]有規(guī)劃,推理的能力。單純根據(jù)概率生成自回歸的大語言模型從本質(zhì)上根本解決不了幻覺,錯(cuò)誤的問題。在輸入文本增大的時(shí)候,錯(cuò)誤的幾率也會(huì)成指數(shù)增加。

那想要通向通用人工智能(AGI)的話,人工智能的下一步在哪里呢?

楊立昆給出的答案是世界模型。一個(gè)不光是在神經(jīng)水平上模仿人腦的模型,而是在認(rèn)知模塊上也完全貼合人腦分區(qū)的世界模型。它與大語言模型最大的差別在于可以有規(guī)劃和預(yù)測能力(世界模型),成本核算能力(成本模塊)。

楊立昆認(rèn)為,通過世界模型,它可以真正的理解這個(gè)世界,并預(yù)測和規(guī)劃未來。通過成本核算模塊,結(jié)合一個(gè)簡單的需求(一定按照最節(jié)約行動(dòng)成本的邏輯去規(guī)劃未來),它就可以杜絕一切潛在的毒害和不可靠性。不過,對于世界模型如何學(xué)習(xí),楊立昆只給了一些規(guī)劃性的想法,比如還是采用自監(jiān)督模型去訓(xùn)練,一定要建立多層級的思維模式。他也承認(rèn)之前并沒有深度學(xué)習(xí)的訓(xùn)練做到了這些,也沒人知道怎么做。

而Tegmark在現(xiàn)場直接表示,我們需要組織開發(fā)一個(gè)超級智能 AI,進(jìn)行有效管理,可能會(huì)面臨全新風(fēng)險(xiǎn),安全使用 AI,而非僅僅追求速度。

“現(xiàn)在,我們面臨的問題是,我們真的能控制人工智能嗎?我認(rèn)為答案是肯定的,但是我們需要對其進(jìn)行更多、更全面的研究。”Tegmark認(rèn)為,如果人工智能更接近生命3.0,我們可以做更多的事情,而不是在太空中的這個(gè)小旋轉(zhuǎn)球上進(jìn)行愚蠢的戰(zhàn)斗。

當(dāng)被問及評價(jià) AI 治理水平時(shí),Tegmark贊揚(yáng),目前為止,中國在監(jiān)管人工智能方面做得最多,歐洲排在第二位,美國排在第三位。他認(rèn)為這是一件好事。“我認(rèn)為我們可以做得更好。”

對于人類的焦慮,Tegmark表示,經(jīng)濟(jì)和就業(yè)市場的變化會(huì)越來越快,如果你在基礎(chǔ)知識(shí)方面很強(qiáng),并且非常善于創(chuàng)造性的開放思維,你就可以靈活地隨波逐流。

03

智源悟道3.0開源

大模型評測體系上線

作為邀請到奧爾特曼以及多位圖靈獎(jiǎng)得主的大會(huì)主辦方,北京智源人工智能研究院(以下簡稱“智源研究院”,BAAI)也在今年智源大會(huì)上展示中國 AI 大模型的最新實(shí)力與進(jìn)展。

6月9日開幕式上,智源研究院公布最新開源的“悟道3.0”系列大模型,包括發(fā)布首個(gè)支持中英雙語知識(shí)、開源商用許可的“悟道天鷹(Aquila)”語言大模型系列,提供“能力-任務(wù)-指標(biāo)”三維評測框架的“天秤(FlagEval)”大模型評測體系,力求打造大模型時(shí)代“新Linux”生態(tài)的FlagOpen大模型開源技術(shù)體系,以及6項(xiàng)“悟道視界”視覺大模型研究成果。

會(huì)后,智源研究院院長黃鐵軍教授對鈦媒體App表示,目前大模型的主要制約點(diǎn)是國內(nèi)訓(xùn)練的都太孝行業(yè)太熱,現(xiàn)在百億模型剛開始有涌現(xiàn)能力。雖然中間也都有一些技術(shù)能力,但智能水平上肯定還有差距。重復(fù)性發(fā)力,發(fā)得越多反而發(fā)散資源。

黃鐵軍認(rèn)為,隨著國內(nèi)大模型行業(yè)的發(fā)展,未來能夠存活的大模型生態(tài)合理數(shù)量為3個(gè)左右。而今天的大模型都是技術(shù)迭代的一個(gè)中間產(chǎn)品。

黃鐵軍強(qiáng)調(diào),大模型已成為AI產(chǎn)業(yè)發(fā)展的主導(dǎo)力量,而“悟道3.0”邁向全面開源、嶄新階段。作為在通用 AI 方向一直努力的機(jī)構(gòu),智源研究院希望未來做更多的支撐性工作貢獻(xiàn)獨(dú)特力量。

“我們智源學(xué)者開啟了大模型的探索,率先組建了大模型的研究團(tuán)隊(duì),成為今天中國大模型學(xué)習(xí)研究的主力。我們率先預(yù)見 AI 大模型時(shí)代到來。”黃鐵軍在演講中表示。

2021年6月,智源研究院正式對外發(fā)布超大規(guī)模、萬億級智能模型“悟道2.0”,同時(shí),基于“悟道2.0”誕生的中國首個(gè)原創(chuàng)虛擬學(xué)生“華智冰”在北京正式亮相。據(jù)悉,悟道2.0參數(shù)規(guī)模達(dá)1.75萬億,是AI模型GPT-3的10倍,打破了之前由Google Switch Transformer預(yù)訓(xùn)練模型創(chuàng)造的1.6萬億參數(shù)記錄。

盡管現(xiàn)場沒有公開悟道3.0參數(shù)量級,但黃鐵軍告訴鈦媒體App,此次悟道3.0參數(shù)量低于悟道2.0 1.75萬億,他強(qiáng)調(diào),重點(diǎn)不是參數(shù)量,而更多在視頻、語音方面應(yīng)用和體系建設(shè)。

具體來說,據(jù)黃鐵軍介紹,Aquila基礎(chǔ)模型提供了70億、330億參數(shù)的兩個(gè)版本,以及基于這兩個(gè)版本的對話模型AquilaChat。黃鐵軍稱,通過架構(gòu)優(yōu)化和高質(zhì)量的中英雙語預(yù)訓(xùn)練數(shù)據(jù)集,該模型以更少的數(shù)據(jù)、更短的訓(xùn)練時(shí)間,獲得更優(yōu)的模型性能,該模型訓(xùn)練效率較Meta AI開源的LLaMA模型提升24%。

一同發(fā)布的還有文本生成代碼模型AquilaCode-7B,同樣支持中英雙語,訓(xùn)練參數(shù)為70億。而AquilaChat則具備很強(qiáng)的對話能力,并具備可擴(kuò)展的特殊指令規(guī)范,令用戶可以實(shí)現(xiàn)多任務(wù)、工具的嵌入,例如嵌入智源研究院此前和圖文模型Stable Diffusion合作開發(fā)的AltDiffusion,以實(shí)現(xiàn)多語言下的圖片生成功能。

“我們現(xiàn)在做的就是類似Linux的事情,Linux不是某個(gè)企業(yè)的開源生態(tài),Linux是大家的,”黃鐵軍對鈦媒體App等表示,現(xiàn)在大模型還處于技術(shù)發(fā)展的早期,過早關(guān)注商業(yè)化會(huì)制約技術(shù)發(fā)展,他呼吁產(chǎn)業(yè)界投入到大模型基礎(chǔ)設(shè)施的生態(tài)建設(shè)上。他強(qiáng)調(diào),大模型是一種通用的能力。

智源研究院副院長兼總工程師林詠華告訴鈦媒體App,智源比較靠近學(xué)和研,接下來他們希望利用評測、研究、建議等方式建立一個(gè)可迭代、回環(huán)、充滿自動(dòng)流程的“大模型的生產(chǎn)線”,才能高效處理數(shù)據(jù)清洗、模型訓(xùn)練、自動(dòng)評測。她認(rèn)為,大模型很關(guān)鍵的決定技術(shù)能否落到產(chǎn)業(yè),尤其是形成高質(zhì)量的大模型。

“另外,從我的感受來說,需要有追求極致的工匠精神來打造大模型。”林詠華表示。

黃鐵軍在6月9日的另一場分論壇上表示,大模型產(chǎn)業(yè)很難形成壟斷,需要搭建共建產(chǎn)業(yè)閉環(huán)。從長遠(yuǎn)來看,大模型只是標(biāo)簽,而不是產(chǎn)品、一家公司的工具,所以整個(gè)大模型開源開放生態(tài)是必然的。

黃鐵軍強(qiáng)調(diào),未來語言類大模型會(huì)繼續(xù)發(fā)展,能力越來越強(qiáng)。但更重要的是,未來1-3年內(nèi),視覺類大模型在自動(dòng)駕駛、機(jī)器人等領(lǐng)域也會(huì)有巨大的新的技術(shù)突破。而更長遠(yuǎn)發(fā)展是實(shí)現(xiàn)真正的通用 AI 技術(shù)。

贊助本站

人工智能實(shí)驗(yàn)室
相關(guān)內(nèi)容
AiLab云推薦
推薦內(nèi)容
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港