撰文/ 馬曉蕾
編輯/ 張 南
來源/ Techcrunch，作者：Kyle Wiggers
說自動駕駛汽車正在被“清算”，這一點都不夸張。
10月底，加利福尼亞州車管局（DMV）暫停了通用自動駕駛子公司Cruise運營Robotaxi的許可。而那起將行人卷入車底的荒誕交通事故只是導(dǎo)火索，深層次原因是監(jiān)管與公眾對事故頻發(fā)的自動駕駛技術(shù)早已失去信任。
就在11月初，Cruise召回了整個自動駕駛汽車車隊。與此同時，舊金山的抗議人士走上街頭，反對該市被當作新興技術(shù)的試驗常
但有一家初創(chuàng)公司表示，它掌握著讓自動駕駛更安全的關(guān)鍵技術(shù)，并認為這一關(guān)鍵將扭轉(zhuǎn)反對者對自動駕駛的態(tài)度。
為汽車制造商合作伙伴開發(fā)自動駕駛軟件的公司Ghost Autonomy宣布開始探索多模態(tài)大型語言模型（LLM）在自動駕駛中的應(yīng)用。這是一種既能理解文本又能理解圖像的人工智能模型。當下爆火的ChatGPT就是LLM應(yīng)用的典型代表。
這一賽道已經(jīng)吸引了大量企業(yè)或創(chuàng)業(yè)者投入。為了實現(xiàn)LLM在自動駕駛領(lǐng)域的應(yīng)用，Ghost與ChatGPT的提供商OpenAI合作，通過該公司的初創(chuàng)企業(yè)基金獲得了OpenAI系統(tǒng)和OpenAI密切合作方Microsoft Azure資源的早期訪問權(quán)，此外還獲得了500萬美元的投資。
Ghost聯(lián)合創(chuàng)始人兼首席執(zhí)行官約翰海耶斯（John Hayes）向媒體表示：“LLM提供了一種理解罕見場景的新方法，為復(fù)雜場景增加了推理，而目前的模型在這方面還存在不足。隨著 LLM 的速度越來越快，能力越來越強，基于LLM的分析在自動駕駛領(lǐng)域的用例只會越來越多。”
Ghost究竟是如何將旨在解釋圖像和生成文本的人工智能模型應(yīng)用于控制自動駕駛汽車的呢？根據(jù)海耶斯的說法，Ghost正在試運行一款軟件，該軟件依靠多模態(tài)模型來進行更高難度的場景解釋，根據(jù)車載攝像頭拍攝的道路場景圖片，向汽車控制硬件提出道路決策建議（例如移動到右側(cè)車道）。
海耶斯說：“在Ghost，我們將努力對現(xiàn)有模型進行微調(diào)，并訓(xùn)練我們自己的模型，最大限度地提高可靠性和道路性能。例如，簡單的模型可能難以駕馭施工區(qū)這一復(fù)雜的路況，臨時車道、手持標志牌的交通協(xié)管員不斷移動，以及與其他道路使用者的復(fù)雜組合。事實證明，LLM能夠以類似人類的推理水平協(xié)同處理所有這些變量。”
不過，專家對此持懷疑態(tài)度。
華盛頓大學專注于法律和數(shù)據(jù)倫理研究的博士生凱斯（Os Keyes）向媒體表示：“Ghost只是把LLM作為營銷流行語。事實上，你把這個宣傳語換成區(qū)塊鏈，并把它發(fā)回2016年同樣說得通，顯然這是一個騙局。”
凱斯認為，LLM根本就不是自動駕駛的工具。他斷言，LLM并不是為此目的而設(shè)計或訓(xùn)練的。
倫敦國王學院高級講師邁克庫克（Mike Cook）的研究重點是計算創(chuàng)造力，他同意凱耶斯的總體評價。他指出，多模態(tài)模型本身遠沒有搞清楚，OpenAI 的旗艦?zāi)Ｐ蜁{空捏造事實并犯下人類不會犯的基本錯誤，比如錯誤地復(fù)制文本和弄錯顏色。
庫克說：“我不相信計算機科學領(lǐng)域有什么靈丹妙藥。我們根本沒有理由讓LLM處理像駕駛汽車這樣危險而復(fù)雜的事情。世界各地的研究人員已經(jīng)在努力尋找方法來驗證LLM在寫作文等相當普通的任務(wù)中的安全性，而將這種不可預(yù)測且不穩(wěn)定的技術(shù)應(yīng)用于自動駕駛，往好了說是不成熟，往壞了說是被誤導(dǎo)。”
但是，海耶斯和OpenAI不會被勸退。
在一份新聞稿中，OpenAI的首席運營官兼OpenAI初創(chuàng)基金經(jīng)理Brad Lightcap說，多模態(tài)模型有可能將LLM的適用性擴展到許多新的用例，包括自動駕駛和汽車。他補充道：“多模態(tài)模型能夠通過結(jié)合視頻、圖像和聲音來理解和得出結(jié)論，可能會創(chuàng)造出一種新的方式來理解場景，并在復(fù)雜或不尋常的環(huán)境中進行導(dǎo)航。”
至于海耶斯，他認為LLM可以讓自動駕駛系統(tǒng)從整體上推理駕駛場景，并利用廣泛的世界知識來駕馭復(fù)雜和不尋常的情況，甚至是它們以前從未見過的情況。他聲稱，Ghost正在通過車隊積極測試多模態(tài)模型駕駛決策，并與汽車制造商合作，共同驗證并將新的大模型集成到Ghost的自動駕駛堆棧中。
海耶斯說：“毫無疑問，目前的模型還不能完全用于汽車的商業(yè)用途。要提高它們的可靠性和性能，還有很多工作要做。但這正是特定應(yīng)用公司在這些通用模型上進行研發(fā)的市場所在。像我們這樣擁有大量訓(xùn)練數(shù)據(jù)和對應(yīng)用有深刻理解的公司將極大地改進現(xiàn)有的通用模型。模型本身也將得到改進。最終，自動駕駛將需要一個完整的系統(tǒng)來提供安全性，其中包含許多不同的模型類型和功能。多模態(tài)模型只是幫助實現(xiàn)這一目標的工具之一。”
這是對一項未經(jīng)驗證的技術(shù)許下的承諾。Ghost能做到嗎？像Cruise和Waymo這樣資金雄厚、資源充足的公司在測試自動駕駛汽車多年后仍遭遇滑鐵盧，誰敢對此下定論？
