劃重點(diǎn)
01微軟AI主管Mustafa Suleyman認(rèn)為，未來(lái)幾年AI模型將呈現(xiàn)大小模型“齊頭并進(jìn)”的趨勢(shì)，大型模型競(jìng)賽將持續(xù)，同時(shí)小型模型技術(shù)如蒸餾將興起。
02Suleyman表示，知識(shí)將被濃縮到更小、更便宜的模型中，嵌入各種設(shè)備，實(shí)現(xiàn)真正的環(huán)境感知革命。
03他強(qiáng)調(diào)，創(chuàng)業(yè)者需要理解并利用提示工程，通過(guò)提供高質(zhì)量的指令集，引導(dǎo)預(yù)訓(xùn)練模型，打造獨(dú)特產(chǎn)品。
04此外，小型模型蘊(yùn)藏著巨大機(jī)會(huì)，創(chuàng)業(yè)者可以利用其低成本和高效性，開(kāi)發(fā)針對(duì)特定用例的應(yīng)用。
05最后，Suleyman提到數(shù)據(jù)整合的重要性，合成數(shù)據(jù)將成為訓(xùn)練模型的關(guān)鍵，但如何獲取、整合這些數(shù)據(jù)仍需深入探討。
以上內(nèi)容由大模型生成，僅供參考
在近日的一次訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智能領(lǐng)域的最新趨勢(shì)。他認(rèn)為，未來(lái)幾年AI模型將呈現(xiàn)大小模型“齊頭并進(jìn)”的趨勢(shì)。
一方面，大型模型的規(guī)�；�(jìng)賽仍將持續(xù)，并融入更多模態(tài)的數(shù)據(jù)，例如視頻、圖像等。另一方面，利用大型模型訓(xùn)練小型模型的技術(shù)（如蒸餾）興起，高效的小型模型將在特定場(chǎng)景中發(fā)揮巨大作用。Suleyman補(bǔ)充稱，未來(lái)，知識(shí)將被濃縮到更小、更便宜的模型中，嵌入各種設(shè)備，實(shí)現(xiàn)真正的環(huán)境感知革命。
對(duì)于創(chuàng)業(yè)者而言，Suleyman認(rèn)為，理解并利用提示工程至關(guān)重要。通過(guò)提供高質(zhì)量的指令集，創(chuàng)業(yè)者可以引導(dǎo)預(yù)訓(xùn)練模型，使其符合自身品牌價(jià)值觀，打造獨(dú)特產(chǎn)品。此外，小型模型蘊(yùn)藏著巨大機(jī)會(huì)，創(chuàng)業(yè)者可以利用其低成本和高效性，開(kāi)發(fā)針對(duì)特定用例的應(yīng)用。
采訪中，Suleyman還強(qiáng)調(diào)了數(shù)據(jù)整合的重要性。合成數(shù)據(jù)將成為訓(xùn)練模型的關(guān)鍵，但如何獲取、整合這些數(shù)據(jù)仍需深入探討。
此外，這位微軟AI主管還談到了新模式的加入，例如視頻和圖像的整合，以及跨復(fù)雜數(shù)字界面的動(dòng)作軌跡的理解和數(shù)據(jù)收集。他認(rèn)為，這將帶來(lái)許多令人印象深刻的結(jié)果。對(duì)于企業(yè)家來(lái)說(shuō)，如何利用這些新趨勢(shì)和技術(shù)進(jìn)行創(chuàng)新，將是未來(lái)成功的關(guān)鍵。
以下為全文內(nèi)容，大家enjoy~ （為增加可讀性，我們對(duì)原文進(jìn)行了簡(jiǎn)要編輯）
Q：未來(lái)幾年，在不斷發(fā)展的模型 (models) 格局中，有哪些事情值得關(guān)注？
A：模型的規(guī)模既在變大，也在變小，這種趨勢(shì)幾乎肯定會(huì)繼續(xù)下去。
去年開(kāi)始流行一種新方法，稱為蒸餾。這類方法利用大型、高成本模型來(lái)訓(xùn)練小型模型。這種監(jiān)督效果相當(dāng)不錯(cuò)，目前已有充分的證據(jù)支持這一點(diǎn)。
因此，規(guī)模仍然是這場(chǎng)競(jìng)爭(zhēng)中的關(guān)鍵因素，未來(lái)還有很大的發(fā)展空間，數(shù)據(jù)也將持續(xù)增長(zhǎng)。
至少在接下來(lái)的兩三年內(nèi)，“規(guī)模法則”在提供超預(yù)期表現(xiàn)方面的進(jìn)度不會(huì)有任何放緩。
Q: 還有哪些新的模式可以加入？
A: 人們也在考慮將視頻、圖像以及跨復(fù)雜數(shù)字界面的動(dòng)作軌跡等新的模態(tài)融入模型中。
但我們真正感興趣的是跨復(fù)雜數(shù)字界面的動(dòng)作軌跡，比如從瀏覽器跳到桌面，再轉(zhuǎn)移到手機(jī)，從不同的生態(tài)系統(tǒng)中切換，無(wú)論是在封閉的花園還是開(kāi)放的網(wǎng)絡(luò)中。
我們?cè)噲D理解這些軌跡，收集大量數(shù)據(jù)，使用監(jiān)督學(xué)習(xí)和微調(diào)等方法。我認(rèn)為這將帶來(lái)許多令人印象深刻的結(jié)果。
Q: 在數(shù)據(jù)方面，人們?cè)谀男┓矫嫠伎嫉貌粔蚨啵?/strong>
A: 數(shù)據(jù)的討論角度很多，經(jīng)典的問(wèn)題是哪些數(shù)據(jù)可以使用及其質(zhì)量。我認(rèn)為網(wǎng)上已經(jīng)有大量討論。
但人們沒(méi)有花足夠時(shí)間思考新數(shù)據(jù)的來(lái)源，以及如何整合這些數(shù)據(jù)。
例如，合成數(shù)據(jù)是一個(gè)有趣的領(lǐng)域，如果我們有這樣的數(shù)據(jù)，可以訓(xùn)練出更好的小模型和大模型。如何獲取這些數(shù)據(jù)并確保其整合是一個(gè)關(guān)鍵問(wèn)題。但是如何獲取這些數(shù)據(jù)并確保它們被整合起來(lái)，這一點(diǎn)還沒(méi)有得到足夠的討論。
Q：在處理模型時(shí)，提示 (prompt) 和問(wèn)題 (question) 之間有什么區(qū)別？
A：提示不僅僅是你問(wèn)聊天機(jī)器人的問(wèn)題。當(dāng)你問(wèn)聊天機(jī)器人一個(gè)問(wèn)題，那是一個(gè)問(wèn)題；當(dāng)你寫一個(gè)三頁(yè)的風(fēng)格指南并附上模仿的例子，那是一個(gè)提示。
提示是你的高質(zhì)量指令集，指導(dǎo)預(yù)訓(xùn)練模型以特定方式行為。令人驚訝的是，模型只需幾頁(yè)指令就能表現(xiàn)得非常不同。
為了讓模型表現(xiàn)出細(xì)微、精準(zhǔn)和符合品牌價(jià)值的行為，你需要展示成千上萬(wàn)個(gè)良好行為的例子，并將這些例子微調(diào)到模型中。這是預(yù)訓(xùn)練過(guò)程的延續(xù)，使用高質(zhì)量且準(zhǔn)確的數(shù)據(jù)。
好消息是，成千上萬(wàn)個(gè)例子對(duì)許多細(xì)分領(lǐng)域或特定垂直領(lǐng)域來(lái)說(shuō)是非常容易獲得的。這是一個(gè)優(yōu)勢(shì)，初創(chuàng)公司在高質(zhì)量微調(diào)預(yù)訓(xùn)練模型方面有很大的空間。
Q：小模型會(huì)帶來(lái)哪些機(jī)會(huì)？創(chuàng)業(yè)者如何利用它們做一些有趣且獨(dú)特的事情？
A：小模型無(wú)疑代表著未來(lái)。
大型模型在處理查詢時(shí)會(huì)激活數(shù)十億個(gè)不相關(guān)的神經(jīng)表示，盡管它們非常高效地進(jìn)行搜索和引用數(shù)億個(gè)節(jié)點(diǎn)，但并不總是必要的。
我們將把知識(shí)濃縮到更小、更便宜的模型中，這些模型可以駐留在各種設(shè)備上，如耳塞、可穿戴設(shè)備、耳環(huán)、植物或傳感器。
這場(chǎng)環(huán)境感知革命長(zhǎng)期以來(lái)一直被人們所期待，它將帶來(lái)功能性設(shè)備，例如一個(gè)冰箱磁鐵，冰箱磁鐵是我能想到的最小的數(shù)字設(shè)備。它可以在早上迎接你，告訴你天氣情況，告訴你冰箱里可能有什么或沒(méi)有什么，并提醒你查看日歷。
它可以在早上歡迎你，告訴你天氣，告訴你冰箱里可能有什么或沒(méi)有什么，并提醒你查看日歷。
這種模型可能只有幾千萬(wàn)個(gè)參數(shù)。雖然目前還沒(méi)有人真正推動(dòng)這一點(diǎn)，但任何兩人團(tuán)隊(duì)都可以探索這一領(lǐng)域。
Q：人們?cè)诮酉聛?lái)的兩天里應(yīng)該思考什么問(wèn)題？
A：問(wèn)題是，技術(shù)人員需要為設(shè)計(jì)一個(gè)更加人性化的未來(lái)做些什么。
這包括思考技術(shù)如何進(jìn)化人類，以及我們的情感、激情和同情心如何通過(guò)我們與技術(shù)不斷變化的關(guān)系來(lái)表達(dá)。
Q：為什么說(shuō)這是一個(gè)轉(zhuǎn)型時(shí)刻？
A：我們有足夠的證據(jù)表明，過(guò)去五十年的大技術(shù)轉(zhuǎn)型重塑了事物的結(jié)構(gòu)。
我認(rèn)為這是一個(gè)創(chuàng)辦公司、擴(kuò)展公司、甚至轉(zhuǎn)變職業(yè)的時(shí)刻。即使你不是企業(yè)家，無(wú)論你是活動(dòng)家、組織者還是學(xué)者，現(xiàn)在是關(guān)注的時(shí)刻。
到2050年，列車將離站，情況會(huì)大不相同。我們現(xiàn)在有機(jī)會(huì)共同塑造和影響未來(lái)，沒(méi)有什么是預(yù)定的。我們非常幸運(yùn)能在這個(gè)時(shí)刻活著，這既是巨大的責(zé)任，也是令人振奮的機(jī)會(huì)。
