智東西（公眾號(hào)：zhidxcom）
作者 | 云鵬
編輯 | 李水青
智東西12月15日消息，剛剛，谷歌DeepMind實(shí)現(xiàn)了數(shù)學(xué)大模型領(lǐng)域的重要突破，其發(fā)布的FunSearch針對(duì)諸多歷史上經(jīng)典數(shù)學(xué)難題給出了新的解法，能力超越了人類數(shù)學(xué)家，相關(guān)研究已登Nature。
簡單來說，F(xiàn)unSearch就是一種基于大模型來解決數(shù)學(xué)問題的新方法，一套新AI技術(shù)。
FunSearch的研究意味著：歷史上第一次有人用大模型對(duì)科學(xué)或數(shù)學(xué)中具有挑戰(zhàn)性的開放性問題給出了新的發(fā)現(xiàn)或解法。
FunSearch在經(jīng)典的“帽子集（Cap set）”難題中，找到了有史以來“最大的帽子集”，據(jù)稱這是過去20年里帽子集的上限規(guī)模增加最大的一次。
而在另一個(gè)經(jīng)典“裝箱（Bin packing）”問題中，F(xiàn)unSearch的性能超越了傳統(tǒng)方式，并且相比神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的AI技術(shù)，消耗的資源更少，靈活性更強(qiáng)。
▲裝箱問題中，F(xiàn)unSearch比傳統(tǒng)方式（左）更高效，可以用更少的箱子裝入同樣數(shù)量的物體
并且最重要的是，FunSearch給出的解法并不是一個(gè)“黑箱”，而是一個(gè)解決問題的程序，也就是說，F(xiàn)unSearch是真正的“授之以漁”，這對(duì)于科學(xué)家們來說是極為重要的突破。
這背后，研究人員通過新的方法防止大模型“幻覺”的出現(xiàn)是非常關(guān)鍵的，這也打破了許多人認(rèn)為大模型很難找到“可驗(yàn)證”的新發(fā)現(xiàn)的固有印象。
FunSearch的研究可以應(yīng)用在數(shù)據(jù)中心領(lǐng)域，以及各類工業(yè)系統(tǒng)中，用來提升任務(wù)處理的效率，其實(shí)際應(yīng)用價(jià)值是巨大的。
數(shù)學(xué)難題一直是大模型很難“征服”的領(lǐng)域之一，這次，谷歌成功將壓力給到了OpenAI。
一、歷史首次，大模型在數(shù)學(xué)開放問題中找到新解法，不僅給你答案，還給你解題思路
大家都知道大模型（LLM）很有用，它們幾乎無所不能，但在發(fā)現(xiàn)全新知識(shí)方面卻有些捉襟見肘，因?yàn)榇竽Ｐ偷?ldquo;幻覺”問題由來已久，用大模型去找到一些“可驗(yàn)證”的正確新發(fā)現(xiàn)是很有挑戰(zhàn)的。
但這次谷歌DeepMind發(fā)表的這項(xiàng)研究，徹底顛覆了這一想法。
這個(gè)名為“FunSearch”的方法，是一種在數(shù)學(xué)和計(jì)算機(jī)科學(xué)中尋找新解決方案的方法。
從工作原理上來看，F(xiàn)unSearch將預(yù)先訓(xùn)練的大模型（其訓(xùn)練目標(biāo)是以計(jì)算機(jī)代碼的形式提供創(chuàng)新解決方案）與自動(dòng)“評(píng)估器（Evaluator）”配對(duì)，這個(gè)評(píng)估器就是用來防止幻覺和錯(cuò)誤想法出現(xiàn)的。通過在這兩個(gè)組件之間反復(fù)迭代，初始解決方案就會(huì)“演變”為新知識(shí)。
這套系統(tǒng)在運(yùn)行過程中，會(huì)搜索（Search）以計(jì)算機(jī)代碼編寫的“函數(shù)（Functions）”，因此得名FunSearch。
用大模型對(duì)科學(xué)或數(shù)學(xué)中具有挑戰(zhàn)性的開放性問題給出新解法，并且結(jié)果更優(yōu)秀，DeepMind發(fā)文稱這尚屬首次。
比如FunSearch發(fā)現(xiàn)了經(jīng)典“帽子集”問題的新解決方案，這是數(shù)學(xué)領(lǐng)域中一個(gè)長期未解的問題。此外，為了展示FunSearch的實(shí)用性，研究員還用它發(fā)現(xiàn)了“裝箱”問題的更有效的算法。
這些新方案和新算法在加速數(shù)據(jù)中心處理效率方面有著廣泛應(yīng)用。
值得一提的是，F(xiàn)unSearch最牛的地方在于，它不僅可以給出解法，還可以讓研究人員看到“解題過程”，提供新的靈感，可以說是“授之以漁”了。
FunSearch輸出的程序可以揭示其解決方案是如何構(gòu)建的，而不是僅僅給出一個(gè)最終解決方案，這也讓FunSearch成為了一個(gè)極為強(qiáng)大的科學(xué)工具。這一科學(xué)工具可以激發(fā)科學(xué)家們對(duì)相關(guān)問題進(jìn)行進(jìn)一步深入研究。
二、解決兩個(gè)歷史經(jīng)典數(shù)學(xué)難題，能力遠(yuǎn)超科學(xué)家，比神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)更高效
我們具體來看看FunSearch到底解決了哪些經(jīng)典數(shù)學(xué)問題。
1、帽子集問題
首先，F(xiàn)unSearch解決的是帽子集問題，這一開放式數(shù)學(xué)問題幾十年來一直困擾著多個(gè)研究領(lǐng)域的數(shù)學(xué)家。研究團(tuán)隊(duì)與相關(guān)領(lǐng)域的數(shù)學(xué)教授進(jìn)行了合作。
簡單來看，解決帽子集問題，需要在一個(gè)高維網(wǎng)格中尋找最大的點(diǎn)集（被稱為帽集，a cap set） ，而在這個(gè)網(wǎng)格中，一條直線不可以同時(shí)經(jīng)過三個(gè)點(diǎn)。
當(dāng)然，要解決這一問題，依靠“暴力計(jì)算”是不可能的，因?yàn)榭赡苄缘臄?shù)量會(huì)很快超過宇宙中原子的數(shù)量。
FunSearch以程序的形式生成了一些解決方案，在一些設(shè)置之下，發(fā)現(xiàn)了有史以來“最大的帽子集（the largest cap sets ever found）”，這是過去20年里帽子集的上限規(guī)模增加最大的一次。
此外，F(xiàn)unSearch的表現(xiàn)超過了最先進(jìn)的計(jì)算求解器，因?yàn)檫@個(gè)問題的規(guī)模已經(jīng)遠(yuǎn)遠(yuǎn)超出了這些計(jì)算求解器當(dāng)前的能力。
▲FunSearch給出的程序
這些結(jié)果表明，F(xiàn)unSearch技術(shù)在處理困難的組合問題時(shí)，可以找到超越已有答案的解法，而這些問題往往難以建立“直覺（Intuition）”。
研究人員希望FunSearch可以在解決組合學(xué)中類似的理論問題時(shí)發(fā)揮作用，未來它可能會(huì)在通信理論等領(lǐng)域開辟新的研究可能性。
2、裝箱問題
除了帽子集問題，研究人員還利用FunSearch嘗試解決了另一個(gè)“臭名昭著”的挑戰(zhàn)“裝箱”問題，借此來探索FunSearch的靈活性。
簡單來說，“裝箱”問題就是如何將不同大小的物品打包到最少數(shù)量的箱子中，這其實(shí)是很多實(shí)際問題的核心，從集裝箱裝卸到數(shù)據(jù)中心分配計(jì)算任務(wù)，如何最小化成本。
雖然裝箱跟帽子集問題有很大不同，但研究人員使用FunSearch來解決這個(gè)問題依然很容易。
FunSearch直接給出了一個(gè)可以自動(dòng)定制的程序（可以根據(jù)數(shù)據(jù)的具體情況進(jìn)行調(diào)整），其性能超過了傳統(tǒng)的啟發(fā)式方法（Best-fit heuristic），可以用更少的箱子打包相同數(shù)量的物品。
▲打包相同數(shù)量物品，F(xiàn)unSearch只用了五個(gè)箱子，而傳統(tǒng)方式要用六個(gè)
當(dāng)然，裝箱問題可以用其他AI技術(shù)來解決，比如神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)，這些方法也被證明是有效的，但可能需要更大量的資源來部署。
另一方面，F(xiàn)unSearch輸出的代碼可以被很容易地檢查和部署，這意味著它給出的解決方案可能被直接應(yīng)用到各種實(shí)際的工業(yè)系統(tǒng)中，帶來立竿見影的效率提升。
三、FunSearch拆解：不斷選出最高分答案并持續(xù)迭代，基于谷歌PaLM 2，還有三個(gè)關(guān)鍵方法改進(jìn)
下面我們具體來看FunSearch的運(yùn)作方式，其實(shí)這是一種“由大模型驅(qū)動(dòng)的演化方法”，F(xiàn)unSearch會(huì)對(duì)大模型給出的解法評(píng)分，并持續(xù)迭代評(píng)分最高的解法。這些解法以計(jì)算機(jī)程序的形式表達(dá)出來，因此可以自動(dòng)運(yùn)行和評(píng)估。
首先，用戶以代碼的形式編寫問題的描述。這個(gè)描述包括一個(gè)評(píng)估程序的過程，以及一個(gè)用于初始化程序池的種子程序（a seed program）。
FunSearch是一個(gè)迭代的過程，在每次迭代中，系統(tǒng)從當(dāng)前的程序池中選擇一些程序，這些程序被提供給大模型，而大模型會(huì)創(chuàng)造性地基于這些程序生成新的程序，新生成的程序會(huì)被自動(dòng)評(píng)估。
評(píng)分最高的程序會(huì)被添加回現(xiàn)有程序的池中，由此形成一個(gè)自我改進(jìn)的循環(huán)。
研究特別提到，F(xiàn)unSearch雖然此次使用的是谷歌的PaLM 2，但FunSearch與其他在代碼上訓(xùn)練的大模型都是兼容的。
▲FunSearch的運(yùn)作流程
實(shí)際上，在不同領(lǐng)域發(fā)現(xiàn)新的數(shù)學(xué)知識(shí)和算法是一項(xiàng)非常困難任務(wù)，這已經(jīng)大大超出了最先進(jìn)的AI系統(tǒng)的能力。為了用FunSearch來解決這些具有挑戰(zhàn)性的問題，研究團(tuán)隊(duì)引入了多個(gè)關(guān)鍵組件。
首先，研究團(tuán)隊(duì)并非讓FunSearch從頭開始尋找答案，而是讓它基于這些問題的常見解法開始進(jìn)行解法的迭代演化。
此外，在演化過程中，研究人員使用了一種策略來提高大模型給出解法的多樣性，以避免“原地打轉(zhuǎn)”。最后，研究人員還通過并行運(yùn)行演化過程提高了系統(tǒng)的效率。
四、FunSearch給出的答案簡潔易懂，擅長“以小見大”，可以與研究人員協(xié)同解決問題
提到FunSearch的優(yōu)勢，研究人員稱，F(xiàn)unSearch不是一個(gè)只生成問題解決方案的黑箱。相反，它生成的是描述如何得到這些解決方案的程序。
這種“展示工作過程”的方法是科學(xué)家們通常的操作方式，新的發(fā)現(xiàn)，往往需要發(fā)現(xiàn)產(chǎn)生的過程來進(jìn)行解釋。
FunSearch更傾向于找到由高度緊湊的程序表示的解決方案，這些方案具有低“Kolmogorov復(fù)雜性”。簡單來說，F(xiàn)unSearch可以用很簡短的程序描述非常大的目標(biāo)對(duì)象，在研究人員看來，這讓FunSearch有了“大海撈針”一般的能力。此外，這也讓研究人員更容易理解FunSearch給出的程序輸出。
值得一提的是，F(xiàn)unSearch和研究人員還可以相互協(xié)作解決問題，F(xiàn)unSearch給出的程序有很好的可解釋性，這為研究人員提供了有價(jià)值的參考，研究人員借此獲得了對(duì)問題的新洞察，改進(jìn)引入到FunSearch中的問題，從而讓FunSearch找到更好的解法，形成這種良性循環(huán)。
與DeepMind團(tuán)隊(duì)合作的大學(xué)教授感嘆稱，它自己在研究FunSearch生成的解決方案時(shí)也“學(xué)到了一些東西”。
▲研究人員通過檢查FunSearch生成的代碼獲得新的見解（高亮部分）
結(jié)語：解決“幻覺”問題，大模型將在更多領(lǐng)域發(fā)揮重要作用
這次谷歌DeepMind的研究表明，如果研究人員可以一定程度上抑制大模型的“幻覺”問題，大模型將會(huì)在諸如數(shù)學(xué)等領(lǐng)域涌現(xiàn)出新的應(yīng)用潛力，大模型解決重要實(shí)際問題的能力也將有顯著提升。
未來，對(duì)于科學(xué)和工業(yè)中的許多問題，使用大模型驅(qū)動(dòng)的方法去生成有效的、定制的算法和程序，或許會(huì)成為更常見的做法。
谷歌DeepMind的研究只是一個(gè)開始，未來以FunSearch為代表的基于大模型的研究方法將繼續(xù)迭代，大模型也將在更多領(lǐng)域釋放自己的潛力。
