機(jī)器之心報(bào)道
編輯：小舟、陳萍
未來(lái)，HADAR 可能會(huì)徹底改變自動(dòng)駕駛汽車和機(jī)器人感知周圍世界的方式。
環(huán)境感知是自動(dòng)駕駛領(lǐng)域非常重要的一項(xiàng)任務(wù)。特別是在夜晚或者極端天氣的情況下，現(xiàn)有的視覺感知和激光雷達(dá)兩種方式對(duì)環(huán)境的感知和識(shí)別都效果不佳。這給自動(dòng)駕駛等高風(fēng)險(xiǎn)應(yīng)用帶來(lái)了挑戰(zhàn)。
有些研究提出使用熱像儀來(lái)彌補(bǔ) LiDAR 和視覺攝像頭的缺陷。但由于物體不斷發(fā)出熱輻射，粒子會(huì)擴(kuò)散到附近的環(huán)境中，導(dǎo)致熱成像變得模糊、無(wú)紋理，形成「鬼影（ghost）」，使這種方法難以實(shí)際應(yīng)用。
現(xiàn)在，一種新的熱成像技術(shù)可以不受霧、煙和黑暗等視覺障礙的影響，使得自動(dòng)駕駛汽車在黑暗中也能準(zhǔn)確感知環(huán)境。如下圖所示，與以前的熱成像（上）相比，新方法可以創(chuàng)建更清晰、更有質(zhì)感的夜間圖像（中和下）。
這種新方法是由來(lái)自普渡大學(xué)等機(jī)構(gòu)的研究者提出，他們開發(fā)了一種新的系統(tǒng)， 稱為「熱輔助探測(cè)和測(cè)距系統(tǒng)（HADAR）」。借助該系統(tǒng)，我們可以在環(huán)境不佳的情況下獲得精細(xì)的環(huán)境圖像，細(xì)節(jié)與精度和傳統(tǒng)相機(jī)在明亮日光下拍攝的圖像相當(dāng)。研究論文已登上 Nature 封面。
方法介紹
HADAR 能夠穿透光學(xué)雜波來(lái)檢測(cè)物體的溫度、材料成分和熱輻射模式，而不受霧、煙和黑暗等視覺障礙的影響。因此，無(wú)論一天中的時(shí)間或環(huán)境如何，HADAR 基于對(duì)深度和紋理的渲染都能創(chuàng)建極其詳細(xì)、清晰的圖像。
HADAR 與「鬼影」熱成像。
為了訓(xùn)練 HADAR 系統(tǒng)，研究人員在夜間使用先進(jìn)的熱成像相機(jī)和能夠顯示電磁波譜中能量輻射的成像傳感器，在戶外捕獲數(shù)據(jù)。他們還創(chuàng)建了對(duì)戶外環(huán)境的計(jì)算機(jī)模擬，以便進(jìn)行額外的 AI 訓(xùn)練。
普渡大學(xué)電氣與計(jì)算機(jī)工程系教授、本文作者之一 Zubin Jacob 表示，「HADAR 學(xué)會(huì)了探測(cè)物體并估計(jì)與這些物體的距離，其精度是僅依靠傳統(tǒng)夜視技術(shù)的 10 倍。而且，HADAR 在夜間的性能與傳統(tǒng)物體檢測(cè)系統(tǒng)在白天的性能相當(dāng)�！�
「聲納、雷達(dá)和激光雷達(dá)等會(huì)發(fā)出信號(hào)并返回反射，以推斷物體是否存在及其與物體的距離。除了相機(jī)所擁有的視覺能力之外，它們還提供了場(chǎng)景的額外信息，尤其是在環(huán)境照明較差的情況下，」Jacob 表示，「然而，HADAR 有著根本的不同，它利用不可見的紅外輻射來(lái)重建夜間場(chǎng)景，清晰度就像白天一樣。」
在沒有反射光的黑暗環(huán)境中， 傳統(tǒng)攝像頭無(wú)法很好地捕捉圖像，雷達(dá)和激光雷達(dá)也容易受到干擾。
熱成像技術(shù)通過捕獲環(huán)境中物體輻射的紅外光來(lái)重建場(chǎng)景。如下圖所示，新研究提出的 HADAR 方法改變了機(jī)器感知的方式：
為了解決「鬼影」問題，該研究訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，用于對(duì)熱像儀發(fā)出的紅外信號(hào)進(jìn)行分類，將物體的特征熱信號(hào)與導(dǎo)致「鬼影」的環(huán)境噪音分開。
該研究訓(xùn)練算法來(lái)識(shí)別已知材料（例如玻璃、木材或織物）的獨(dú)特發(fā)射光譜。通過識(shí)別場(chǎng)景中的這些已知特征，算法可以表征其觀察到的對(duì)象。那么剩下的就是環(huán)境信號(hào)和從這些物體反射到相機(jī)中的噪聲。通過向后評(píng)估噪聲信號(hào)的反射和散射方式，該算法可以填充每個(gè)對(duì)象的紋理信息，從而為圖像提供更高層次的細(xì)節(jié)。
處理后的圖像清晰地顯示了物體及其紋理，并且可以識(shí)別物體的材質(zhì)。最重要的是，HADAR 還能夠提供一種關(guān)鍵數(shù)據(jù) 環(huán)境物體的深度信息，這將有助于自動(dòng)駕駛在復(fù)雜路況下進(jìn)行環(huán)境感知。
下圖展示了一個(gè) HADAR 的應(yīng)用實(shí)例。其中有一位真人和一個(gè)人形紙板。RGB 光學(xué)成像和稀疏 LiDAR 點(diǎn)云都無(wú)法區(qū)分真人和人形紙板，并且 LiDAR 還難以檢測(cè)到夜間條件下的車輛。而 HADAR 檢測(cè)到相應(yīng)材料區(qū)域（皮膚+織物）中的人，將其與紙板清楚地區(qū)分開來(lái)，克服了「幻象制動(dòng)」問題。
下圖 6 展示了 HADAR 測(cè)距在夜間擊敗了最先進(jìn)的熱測(cè)距技術(shù)：
由于該方法能夠確定場(chǎng)景中的物體是由什么組成的，因此與傳統(tǒng)成像技術(shù)相結(jié)合，即使在白天，HADAR 也可以提供有關(guān)場(chǎng)景的獨(dú)特信息。
研究團(tuán)隊(duì)表示希望這項(xiàng)技術(shù)能夠得到廣泛應(yīng)用，從自動(dòng)駕駛到幫助生物學(xué)家遠(yuǎn)程追蹤野生動(dòng)物。
參考鏈接：
https://www.science.org/content/article/ai-brings-clarity-fuzzy-night-vision-images
https://www.newscientist.com/article/2384435-driverless-cars-could-get-ai-powered-heat-vision-for-nighttime-driving/
https://www.popsci.com/technology/hadar-thermal-camera/
