Hi，大家好，我是Max，還記得我嗎？
騰訊自主研發(fā)的多模態(tài)四足機器人。（大家也可以叫我機器狗Max）
這次是和大家的第三次見面了。
理由一樣，想你們了（不是）我又升級了。
上次是走梅花樁。
這次是學真狗。
用實驗室的專業(yè)術語說就是：將預訓練和強化學習技術應用到機器人控制領域。
翻譯一下，我在常見的動物行為數據集上進行表征學習，將學到的潛在表達存放在深度神經網絡中，讓我的動作和行為都接近動物。
這是之前的我↓↓↓
這是現在的我↓↓↓
再翻譯一下，就是，我去學習了真狗的動作（走、跑、跳、站立等動作），然后靈活運用這些姿態(tài)去解決新的各種障礙的任務（匍匐前進、跨欄跑、障礙物之間的跑酷穿梭等）。
再對比一下現實中狗狗的動作↓↓↓
這樣看，是不是覺得我學習得不錯？
我知道，你一定會好奇我是怎么做到。
因為它↓↓↓
首先，收集動作數據
我們找來了一位專業(yè)的“動捕演員”，在主人的全程陪同和引導下，完成動作數據收集。
（狗狗身上貼著用于動捕的標記點）
通過騰訊游戲的動捕技術收集一定數量的動物狗在平地上常規(guī)的運動姿態(tài)數據，包括走、跑、跳、站立等數據，游戲研發(fā)制作過程中積累的多元動捕素材也為此提供了幫助。
再利用重定向技術，可以讓這些數據在仿真引擎準確和高效的映射到機器人本體。
（通過動捕綁定機器狗的骨骼）
然后，學習動作數據
利用這些數據，在仿真器中構建了一個模仿學習任務，將這些數據中的信息學習并表達到我的神經網絡上。（就像在腦子里植入了一本“武功秘籍”）
再然后，擬真世界受控訓練
在擬真世界，感知自身的關節(jié)狀態(tài)，并按照隨機指令在平地練習和適應自身的動作。（在腦海里，練習武功招式）
游戲技術以及數據對基于物理仿真的智能體訓練以及真實世界機器人策略部署也起到了一定的輔助作用。
再再然后，加入外部環(huán)境訓練
在擬真世界里，加入復雜環(huán)境因素。
訓練我對動作數據的熟練度，并感知外部環(huán)境，運用學到的動作去應對外部環(huán)境造成的各種障礙。（加入假想敵，和他們不停地過招。）
最后，就是大家看到的我了。
是的，整個過程都在虛擬世界里面訓練而成，不需要進行實機訓練和調整。
接下來，派出兩個我的實體分身，來一段追逐游戲給大家展示下學習成果。
游戲規(guī)則講解：我和我的分身分別扮演追蹤和逃避的角色，雙方觸碰到旗子后，身份立即轉換，誰先抓到對方，便獲勝。
好，游戲開始��！
↑↑↑追逐轉換追逐（雙方你追我趕，互換著身份）
↑↑↑當追蹤者意識到自己在逃避者碰到旗子之前已經無法追上它的時候，追蹤者會放棄追蹤，而是在遠離逃避者的位置徘徊，目的是為了等待下一個重置的旗子出現。
↑↑↑因為最后一次旗子出現的位置太遠，逃避者判斷出旗子的位置被追蹤者攔在了中間，逃避者判斷不可能繞過逃避者去碰旗子，所以它會往角落里鉆，盡量拖延自己輸掉比賽的時間。
↑↑↑加入障礙后，我們也能順利穿越障礙，完成游戲。
當追蹤者即將抓到逃避者的時刻，它跳起來向著逃避者做出一個"撲"的動作，非常類似動物捕捉獵物時候的行為。
“是不是覺得機器狗還能玩游戲很神奇？”
我能像動物般地玩游戲，是因為我還特地學習了策略層面知識的網絡參數，這個參數可以讓我學會游戲規(guī)則、懂思考、懂判斷。
最后，你一定會問，機器狗越來越像狗了，意義是什么？
其實，我剛剛誕生時，使用相對機械僵硬的動作，也能完成很多任務。
但隨著我的成長，會發(fā)現，如果不借鑒任何動物、生物體的特性，這種僵硬的動作，想要去處理復雜的任務是很困難的。
就像生物都會逐漸進化成最合理的形態(tài)，去適應復雜的生存環(huán)境。
未來，我想要完成更高難度的任務，例如搜尋和援救等緊急的工作。
我還要不停地進化和適應，變得更靈活、跳得更高，去自主完成更困難的任務。
當然，相對冰冷的機械，大家肯定也更喜歡和接受擬真一點的可愛小機器狗吧~
對了，如果大家還想看更多技術詳解，可以戳文字查看~
好了，今天就到這了，我得繼續(xù)去訓練了。
我是Max，期待下一次進化，再和大家見面。
