出品｜虎嗅智庫
編輯｜黃思語
題圖｜視覺中國
當前，端到端模型在自動駕駛領域嶄露頭角，成為引領技術的重要力量。那么，端到端自動駕駛模式有何優(yōu)勢？如何訓練數(shù)據、優(yōu)化駕駛經驗？在復雜的交通環(huán)境中，模型又該如何智能且安全地作出實時決策，確保車輛行駛的高效和安全？與此同時，為了賦予用戶和監(jiān)管機構對系統(tǒng)決策的清晰理解，構建對自動駕駛技術的堅實信任，模型的可解釋性也成為關鍵要解決的問題之一。
圍繞以上問題，虎嗅智庫撰寫并發(fā)布了《端到端自動駕駛模型方案及發(fā)展趨勢》。深入剖析端到端的算法演進與產品形態(tài)，通過學術界和工業(yè)界兩個層面的實踐案例，揭示端到端模型在自動駕駛領域的探索與創(chuàng)新，為車企及自動駕駛相關從業(yè)人員提供專業(yè)意見。
同時12月12日晚7點，虎嗅智庫將圍繞自動駕駛的研發(fā)路線開展線上研討會，特邀北汽研究院、智加科技、環(huán)形科技的專家一起在線上暢聊自動駕駛。
端到端模型的算法演進和產品形態(tài)
當前汽車行業(yè)通用分類，將自動駕駛系統(tǒng)分為傳統(tǒng)模塊化和端到端兩大類。傳統(tǒng)方案以感知-預測-規(guī)劃-控制為核心，如百度阿波羅，適應硬件水平，符合量產需求。端到端方案融合各模塊成一個統(tǒng)一架構，通過傳感器輸入直接完成從原始數(shù)據到軌跡或控制信號的映射，符合人類駕駛原理。
虎嗅智庫在通用分類基礎上，綜合考慮對規(guī)則算法的依賴程度，按照模型最后呈現(xiàn)的擬人化程度，將自動駕駛模型分為：規(guī)則算法驅動的模塊化小模型(a模型)、半擬人化部分算法規(guī)則驅動的模型(b模型)、擬人化無規(guī)則端到端Al大模型(c模型)。
a模型采用傳統(tǒng)模塊化，但系統(tǒng)復雜，對硬件要求高；b模型在此基礎上實現(xiàn)感知-決策一體化，提升信息表達；C模型是完全擬人化的無規(guī)則端到端Al大模型，是自動駕駛算法模型的理想狀態(tài)，以原始傳感器數(shù)據為輸入，并產生規(guī)劃和/或低級控制動作作為輸出，理論上應具備可解釋性，但目前尚無落地成果。
端到端自動駕駛技術在算法演進和產品形態(tài)上經歷了三個關鍵階段。
起初，從基于神經網絡的端到端控制模型，到采用監(jiān)督學習的卷積神經網絡端到端模型，再到策略預訓練模型，不斷加入深度學習和擬人化算法范式，解決更多自動駕駛問題。
學術界的研究始于1988年的ALVINN，隨后發(fā)展出端到端CNN原型系統(tǒng)。
到2021年，這一技術逐漸體現(xiàn)在產品形態(tài)上，通過多傳感器配置實現(xiàn)多模態(tài)感知，利用高級架構捕捉全局上下文和代表性特征，通過NEAT、NMP和BDD-X等方法提高可解釋性和安全性，覆蓋了記憶泊車、城市NOA、高速NOA等不同自動駕駛功能，標志著端到端自動駕駛技術進入了探索完整算法解決方案的階段。
探索實踐案例
1、 學術界以上海人工智能實驗室為代表，關于UniAD的探索。
UniAD是上海人工智能實驗室、武漢大學和商湯科技合作研發(fā)的自動駕駛通用大模型，以路徑規(guī)劃為導向，實現(xiàn)感知決策一體化。
模型將檢測、跟蹤、建圖、軌跡預測、占據柵格預測整合到基于Transformer的端到端網絡框架下，通過通用token融合環(huán)視圖片映射得到BEV特征，實現(xiàn)目標跟蹤、在線建圖、目標軌跡預測和障礙物預測。
聯(lián)合優(yōu)化通過連續(xù)時序視頻流輸入，映射到BEV空間，通過transformer、mapformer、motionformer和Occformer實現(xiàn)特征融合和多步未來占用預測，最終通過Planner進行端到端的多模塊聯(lián)合優(yōu)化和可微分訓練。
UniAD通過先訓練感知能力，再訓練整體模型，實現(xiàn)了自動駕駛領域的創(chuàng)新突破。
2、工業(yè)界以特斯拉為代表，關于FSDBetav12探索。
特斯拉FSDBetav12的自動駕駛解決方案采用了感知決策一體化模型。
將“感知”和“決策”兩個模塊融合到一個模型中，通過純視覺感知方案，利用影子模式實時收集數(shù)據并訓練模型，實現(xiàn)僅依靠車載攝像頭和神經網絡識別道路和交通情況，并作出相應決策。
測試結果表明，F(xiàn)SDBetaV12能夠應對絕大多數(shù)駕駛場景，但還需要改進在測試中存在的失效場景，如未準確識別紅路燈等問題。
數(shù)據為主、規(guī)則驅動為輔將成未來趨勢
端到端模型在自動駕駛方案中具有明顯優(yōu)勢。它將感知、預測和規(guī)劃整合到單一模型中，簡化了方案結構，提高了計算效率。模型由神經網絡構建，以數(shù)據和算力為主導，顯著提升了模型的訓練效率和性能上限。相比傳統(tǒng)模型依賴規(guī)則驅動，端到端模型更容易實現(xiàn)規(guī)�；瑢崿F(xiàn)性能突破。
未來，在產業(yè)應用中面臨兩大挑戰(zhàn)。首先，現(xiàn)有感知決策一體化模型缺乏可解釋性。無法保障極端情況下模型輸出的安全性，并且具有不可解釋性，這增加了錯誤風險和調試難度。
其次，缺少大量真實駕駛數(shù)據用于模型訓練阻礙了量產落地。傳統(tǒng)模塊化模型中獲取訓練數(shù)據相對容易，而端到端模型需要大量連續(xù)時序的駕駛行為視頻進行標注，采集、標注及閉環(huán)驗證困難，使得量產落地進程放緩。
以大數(shù)據驅動為主、規(guī)則驅動為輔的模型架構將成為主流，同時借助語言模型范式，通過tokenization實現(xiàn)自動駕駛運行邏輯的可解釋性。此外，面向通用大模型的研發(fā)也將成為重要方向，以支持泛場景、泛對象、跨模態(tài)的自動駕駛應用。通過對深度學習、強化學習、類腦算法等技術的不斷探索，推動端到端模型在產業(yè)界的廣泛應用和持續(xù)創(chuàng)新。
我們提供的核心價值：
及時與優(yōu)質的洞察，了解技術、了解行業(yè)、了解同行與對手；
為決策者技術與產品戰(zhàn)略決策、產業(yè)規(guī)劃、解決方案選型提供重要參考；
幫助市場全面了解前沿科技及所影響產業(yè)的發(fā)展狀況，還有未來趨勢。
