去年，DeepMind和瑞士等離子體中心合作利用AI成功控制托卡馬克內(nèi)部的核聚變等離子體。最近，DeepMind新研究表明已將等離子體形狀的模擬精度提高65%，將學(xué)習(xí)新任務(wù)所需的訓(xùn)練時(shí)間減少3倍甚至更多。
DeepMind的實(shí)驗(yàn)已將等離子體形狀的模擬精度提高65%。
從人工智能機(jī)器人AlphaGo大戰(zhàn)圍棋世界冠軍韓國(guó)棋手李世石，到人工智能程序AlphaFold預(yù)測(cè)蛋白質(zhì)折疊，再到去年用AI控制核聚變反應(yīng)登上《自然》雜志，谷歌旗下人工智能公司DeepMind已將人工智能算法深入到足以改變世界的領(lǐng)域。
7月26日，DeepMind表示，去年和瑞士等離子體中心合作利用人工智能成功控制了托卡馬克內(nèi)部的核聚變等離子體。“自那時(shí)起，我們的實(shí)驗(yàn)已經(jīng)將等離子體形狀的模擬精度提高了65%。”相關(guān)研究7月21日提交在預(yù)印本網(wǎng)站ArXiv上，論文題為《面向托卡馬克磁控制的實(shí)用強(qiáng)化學(xué)習(xí)》。
托卡馬克是一種利用磁約束來(lái)實(shí)現(xiàn)受控核聚變的環(huán)形容器，中央是一個(gè)環(huán)形真空室，外面纏繞線圈。通電時(shí)，托卡馬克內(nèi)部會(huì)產(chǎn)生巨大的螺旋型磁場(chǎng)，將其中的等離子體加熱到很高的溫度，以達(dá)到核聚變的目的。
反饋控制對(duì)托卡馬克裝置的運(yùn)行至關(guān)重要，控制系統(tǒng)主動(dòng)管理磁線圈以抑制細(xì)長(zhǎng)等離子體的不穩(wěn)定性，此外對(duì)等離子體電流、位置和形狀的精確控制使熱排和等離子體能量的管理成為可能。傳統(tǒng)的等離子體的精確控制是通過(guò)連續(xù)閉合等離子體電流、形狀和位置來(lái)實(shí)現(xiàn)的，但等離子體形狀和位置等量不能直接測(cè)量，必須通過(guò)磁測(cè)量間接、實(shí)時(shí)估計(jì)。雖然這類(lèi)系統(tǒng)已成功穩(wěn)定了大范圍的放電，但這種設(shè)計(jì)具有挑戰(zhàn)性且耗時(shí)。
而強(qiáng)化學(xué)習(xí)近來(lái)成為構(gòu)建實(shí)時(shí)控制系統(tǒng)的另一種范式，強(qiáng)化學(xué)習(xí)在包括等離子體磁控制領(lǐng)域在內(nèi)的實(shí)時(shí)控制系統(tǒng)中顯示出了良好的效果，但與傳統(tǒng)的磁約束反饋控制方法相比，仍然存在明顯缺陷。
在此次研究中，研究團(tuán)隊(duì)將重點(diǎn)放在策略準(zhǔn)確性和整體訓(xùn)練速度上，解決了強(qiáng)化學(xué)習(xí)方法的主要缺點(diǎn)，包括對(duì)所需的等離子體特性實(shí)現(xiàn)更高的控制精度、減少穩(wěn)態(tài)誤差、減少學(xué)習(xí)新任務(wù)所需時(shí)間，提出了對(duì)智能體架構(gòu)和訓(xùn)練過(guò)程的算法改進(jìn)。模擬結(jié)果顯示，等離子體形狀精度提高了65％，大大減少了等離子體電流的長(zhǎng)期偏置，將學(xué)習(xí)新任務(wù)所需的訓(xùn)練時(shí)間減少3倍甚至更多。
研究團(tuán)隊(duì)表示，雖然這些結(jié)果顯著降低了強(qiáng)化學(xué)習(xí)控制器的局限性，但還有很大改進(jìn)空間。未來(lái)不僅需要提高模擬性能，還需要在硬件上匹配實(shí)際等離子放電時(shí)的性能水平，目前模擬和硬件之間的精度差距幾乎主導(dǎo)了模擬中任何剩余的改進(jìn)。同樣，有許多機(jī)會(huì)可以繼續(xù)減少訓(xùn)練所需的時(shí)間。
