豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
四足機(jī)器人走著走著突然斷了一條腿，還能繼續(xù)前進(jìn)嗎？
來(lái)自谷歌和密歇根大學(xué)的最新成果，給出了非�？隙ǖ拇鸢�。
他們發(fā)明的一種叫做AutoRobotics-Zero (ARZ)的搜索算法，既不靠大模型，也不用神經(jīng)網(wǎng)絡(luò)，可以讓機(jī)器人一旦遇到劇烈的環(huán)境變化，就立刻自動(dòng)更改行動(dòng)策略。
譬如斷腿照樣走：
相比之下，別的神經(jīng)網(wǎng)絡(luò)方法還是這樣?jì)饍旱模ㄊ謩?dòng)狗頭）：
英偉達(dá)AI科學(xué)家Jim Fan評(píng)價(jià)：
這個(gè)方法非常令人耳目一新。
機(jī)器人再也不怕被忽悠瘸了
具體如何實(shí)現(xiàn)？
讓機(jī)器人斷腿繼續(xù)走的秘密
快速適應(yīng)環(huán)境變化是機(jī)器人部署到現(xiàn)實(shí)世界中非常重要的一項(xiàng)技能。
但目前常用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）技術(shù)存在策略單一、重參數(shù)化導(dǎo)致推理時(shí)間長(zhǎng)、可解釋性差等問(wèn)題。
為此，作者直接“另起爐灶”，基于AutoML Zero技術(shù)開(kāi)發(fā)了這項(xiàng)全新的四足機(jī)器人環(huán)境自適應(yīng)策略：AutoRobotics-Zero (ARZ)。
關(guān)于AutoML Zero，不熟悉的朋友再了解一下：
它是2020年誕生的一種“從零開(kāi)始的自動(dòng)機(jī)器學(xué)習(xí)”算法，出自谷歌大腦Quoc V.Le大神等人之手，僅使用基本數(shù)學(xué)運(yùn)算為基礎(chǔ)，它就能從一段空程序開(kāi)始，自動(dòng)發(fā)現(xiàn)解決機(jī)器學(xué)習(xí)任務(wù)的計(jì)算機(jī)程序。
在此，作者也將各種機(jī)器人行動(dòng)策略表示為程序，而非神經(jīng)網(wǎng)絡(luò)，并僅使用基本的數(shù)學(xué)運(yùn)算作為構(gòu)建塊，從頭開(kāi)始演化出可適應(yīng)性策略及其初始參數(shù)。
隨著不斷的進(jìn)化，該方法能夠發(fā)現(xiàn)控制程序（即Python代碼，如下圖所示），從而在與環(huán)境互動(dòng)的同時(shí)，利用感覺(jué)運(yùn)動(dòng)經(jīng)驗(yàn)來(lái)微調(diào)策略參數(shù)或改變控制邏輯（也就是當(dāng)隨機(jī)分支在隨機(jī)時(shí)間突然中斷時(shí)運(yùn)行新的分支）。最終就可以在不斷變化的環(huán)境下實(shí)現(xiàn)自適應(yīng)。
具體而言，ARZ的算法由兩個(gè)核心函數(shù)組成：StartEpisode（）和GetAction（），前者在機(jī)器人與環(huán)境交互的每個(gè)階段開(kāi)始時(shí)就開(kāi)始運(yùn)行，后者負(fù)責(zé)調(diào)整內(nèi)存狀態(tài)（因?yàn)椴呗员槐硎緸樽饔糜谔摂M內(nèi)存的線(xiàn)性寄存器）和代碼修改。
在進(jìn)化搜索上，ARZ則采用兩種控制算法：負(fù)責(zé)多目標(biāo)搜索的非支配排序遺傳算法II（NSGA-II）和負(fù)責(zé)單目標(biāo)搜索的正則化進(jìn)化算法（RegEvo）。
如下圖所示進(jìn)化控制算法的評(píng)估過(guò)程，單目標(biāo)進(jìn)化搜索使用平均情節(jié)獎(jiǎng)勵(lì)作為算法的適應(yīng)度，而多目標(biāo)搜索優(yōu)化了兩個(gè)適應(yīng)度指標(biāo)：平均獎(jiǎng)勵(lì)（第一個(gè)返回值）和每次episode的平均步數(shù)（第二個(gè)返回值）。
以及作者介紹，為了預(yù)測(cè)動(dòng)態(tài)環(huán)境中給定情況下的最佳行動(dòng)，策略必須能夠?qū)?dāng)前情況與過(guò)去的情況和行動(dòng)進(jìn)行比較。
因此，ARZ所有策略都被設(shè)計(jì)為“有狀態(tài)的”，即內(nèi)存內(nèi)容在一個(gè)事件的時(shí)間步長(zhǎng)內(nèi)是持續(xù)存在的，由此才得以完成自適應(yīng)。
此外，有所不同的是，該方法還去掉了原始AutoML Zero技術(shù)中的監(jiān)督學(xué)習(xí)模式，最終無(wú)需明確接收任何監(jiān)督輸入（如獎(jiǎng)勵(lì)信號(hào)）就可以讓進(jìn)化程序在整個(gè)生命周期內(nèi)進(jìn)行調(diào)整。
比神經(jīng)網(wǎng)絡(luò)更有效
作者用宇樹(shù)科技的“萊卡狗”（Laikago）四足機(jī)器人模擬器在模擬環(huán)境中進(jìn)行了效果測(cè)試。
最終，只有ARZ可以進(jìn)化出在隨機(jī)斷腿情況下保持向前運(yùn)動(dòng)和避免摔倒的自適應(yīng)策略。
相比之下，進(jìn)行了全面超參數(shù)調(diào)整并使用最先進(jìn)強(qiáng)化學(xué)習(xí)方法完成訓(xùn)練的MLP和LSTM基線(xiàn)都失敗了：
要么不具有魯棒性，不能每次都成功；
要么一次都沒(méi)有成功過(guò)。
需要注意的，這還是在ARZ使用的參數(shù)和FLOPS比MLP和LSTM都少得多的情況下。
下圖則是統(tǒng)計(jì)數(shù)據(jù)：只要任何一列中的reward
我們可以再次看到，除了ARZ，只有MLP方法能夠在右后腿成功一次。
除了以上這些，ARZ還顯現(xiàn)出了目前的RNN技術(shù)都做不到的可解釋性。
如圖所示，它在斷腿案例中發(fā)現(xiàn)的各種策略可以都符號(hào)化為如下表示：
最后，除了機(jī)器人斷腿走路，ARZ還可以在“具有隨機(jī)傾斜軌道的cartpole系統(tǒng)”中自動(dòng)保持平衡。
論文地址：
https://arxiv.org/abs/2307.16890
