從無人貨運(yùn)到自動駕駛汽車，自動駕駛正在改變我們的出行方式，智能交通正在加速構(gòu)建。而機(jī)器學(xué)習(xí)就是實現(xiàn)它的核心技術(shù)，也被稱為自動駕駛的“大腦”。眾所周知，自動駕駛依賴昂貴的激光雷達(dá)或者復(fù)雜的可視化智能方案，都是大公司的專屬，那么問題來了，普通人要如何低成本參與并學(xué)習(xí)機(jī)器學(xué)習(xí)在自動駕駛中的應(yīng)用呢?
亞馬遜云科技給出的答案就是 DeepRacer 競賽。它將機(jī)器學(xué)習(xí)降低到非專業(yè)人士的層面，使編程愛好者也可以通過開發(fā)賽車模型體驗訓(xùn)練強(qiáng)化學(xué)習(xí)算法的樂趣。9 月 26 日的亞馬遜云科技推出 DeepRacer 技術(shù)公開課內(nèi)容，全方位解析 DeepRacer 競賽的相關(guān)知識，以及如何通過這個平臺開啟機(jī)器學(xué)習(xí)和自動駕駛之旅。
DeepRacer：強(qiáng)化學(xué)習(xí)入門的首選平臺
要讓計算機(jī)具備駕駛能力，核心就是教會它“學(xué)習(xí)”。傳統(tǒng)的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)存在一定局限，而強(qiáng)化學(xué)習(xí)模擬了人類學(xué)習(xí)的方式，通過不斷的試錯獲得解決問題的策略，是一個更強(qiáng)大的機(jī)器學(xué)習(xí)范式。
強(qiáng)化學(xué)習(xí)的思路是，在一個特定的環(huán)境中，讓 AI 去嘗試不同的行為，然后根據(jù)行為反饋(獎勵或懲罰)不斷改進(jìn)策略。這類似于我們訓(xùn)練貓狗的方式，獎勵好的行為，懲罰錯誤的行為，逐步獲得期望的結(jié)果。
以 AlphaGo 為例，它就通過自我對弈進(jìn)行強(qiáng)化學(xué)習(xí)，探索不同的下法，獲得勝負(fù)反饋，逐步積累經(jīng)驗，最終戰(zhàn)勝人類高手。
DeepRacer 是一個基于強(qiáng)化學(xué)習(xí)的自動駕駛開發(fā)平臺和競賽。參賽者需要通過編程指導(dǎo)一輛模擬賽車駕駛，使其盡可能快速且穩(wěn)定地完成賽道。
具體來說，需要編寫兩個部分：
獎勵函數(shù)：定義不同狀態(tài)下的獎勵值，這決定了車輛的學(xué)習(xí)目標(biāo)。
訓(xùn)練模型：選擇行為空間、超參數(shù)等，運(yùn)行訓(xùn)練過程，獲得駕駛模型。
平臺會生成模擬環(huán)境，賽車?yán)脭z像頭視覺感知狀態(tài)，你只需提供獎勵函數(shù)。通過大量的試錯，它會逐步掌握最優(yōu)駕駛策略。
這簡化并濃縮了端到端的強(qiáng)化學(xué)習(xí)過程，初學(xué)者可以快速上手，零基礎(chǔ)就能訓(xùn)練出自動駕駛模型。
重要提示：編寫?yīng)剟詈瘮?shù)實現(xiàn)不同駕駛邏輯
獎勵函數(shù)使用 Python 編寫，根據(jù)當(dāng)前狀態(tài)判斷賽車行為，返回一個獎勵值。
例如下面這個實現(xiàn)了中線跑的邏輯：
我們也可以只獎勵完賽，讓賽車自己決定如何跑完全程：
修改獎勵函數(shù)可以實現(xiàn)不同的駕駛效果。但需要結(jié)合道路規(guī)則、物理知識進(jìn)行設(shè)計，這也是 DeepRacer 的趣味所在。
進(jìn)一步提升模型泛化能力的方法與技巧
另外模型訓(xùn)練完成后，平臺會給出三條評估指標(biāo)：
獎勵值：是否持續(xù)提升
完賽率：是否持續(xù)提升，最后接近100%
評估完賽率：是否維持100%
如果獎勵值提升緩慢，可能存在欠擬合。如果完賽率無法到達(dá) 100%，可能是過擬合。我們可以調(diào)整超參數(shù)重新訓(xùn)練。
此外還可以使用一些輔助工具，如 Amazon 提供的 DeepRacer 分析工具，幫助分析模型表現(xiàn)，發(fā)現(xiàn)問題所在。
訓(xùn)練環(huán)境與實際情況無法完全一致，這需要提升模型的泛化能力。以下技巧可供參考：
使用多樣化的訓(xùn)練場景(賽道、天氣等)，盡可能覆蓋更多情況
采用圖像增強(qiáng)，模擬不同光照等條件
選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)，既可學(xué)習(xí)特征又避免過擬合
使用正則化技術(shù)防止過擬合
采用早停機(jī)制，防止過度訓(xùn)練
模型集成，組合多個模型輸出，提高魯棒性
另外，亞馬遜提供了免費(fèi)視頻課程，從理論到實戰(zhàn)全面講解強(qiáng)化學(xué)習(xí)知識，可以幫助理解和提升模型效果。
DeepRacer 競賽介紹：讓自動駕駛無門檻
DeepRacer 競賽分為線上模擬賽和線下實車賽。線上模擬賽包括區(qū)域預(yù)賽和全球總決賽。選手提交模型參加預(yù)賽，根據(jù)完成時間獲得積分。積分達(dá)到一定水平可進(jìn)入總決賽，爭取全球冠軍。
線下實車賽跟 AWS 年會同期舉行。選手組裝真實賽車，車輛在實際賽道上運(yùn)行競速。評委根據(jù)完賽時間進(jìn)行評判。
無論哪種形式，前期優(yōu)勝者都能獲得豐厚獎品，如 AWS 積分、電子產(chǎn)品、賽車周邊等。要參加競賽，只需要幾個簡單步驟：
1.在 AWS 控制臺創(chuàng)建并訓(xùn)練 DeepRacer 模型
2.選擇賽道，編寫?yīng)剟詈瘮?shù)并設(shè)置其他參數(shù)
3.訓(xùn)練模型，調(diào)整超參數(shù)直至表現(xiàn)優(yōu)異
4.在規(guī)定時間內(nèi)提交模型，查看排行榜
5.比賽期間可以繼續(xù)優(yōu)化模型，提高排名
編程經(jīng)驗不必專業(yè)，只要按照獎勵函數(shù)的思路，任何人都可以提交一個可跑車型。創(chuàng)建第一個自動駕駛模型，盡情感受競速的魅力吧!
DeepRacer 最大的意義，是讓機(jī)器學(xué)習(xí)和自動駕駛真正做到無門檻。
過去這些技術(shù)僅限于大公司研究機(jī)構(gòu)，資源需求極高。而通過模擬和云計算，普通開發(fā)者也可以輕松編程實踐，對技術(shù)的學(xué)習(xí)不再是紙上談兵。
開源社區(qū)中不乏利用 DeepRacer 進(jìn)行創(chuàng)新的案例。社區(qū)成員開發(fā)了輔助工具，實現(xiàn)自動獎勵函數(shù)生成�；� DeepRacer 改造的虛擬現(xiàn)實賽車也為殘障人士提供了模擬駕駛的可能性。
可以預(yù)見，類似 DeepRacer 的平臺將推動學(xué)習(xí)型人工智能的普及，也會帶來更多意想不到的創(chuàng)意，這正是開源文化的魅力所在。
當(dāng)自動駕駛逐漸成為現(xiàn)實，任何人都可以為這個時代貢獻(xiàn)一份力量，這一切都始于我們打開編程的大門，走進(jìn)機(jī)器學(xué)習(xí)的世界。
