新智元報(bào)道
編輯：潤 Lumina
【新智元導(dǎo)讀】HADAR技術(shù)攻克了機(jī)器夜間識別的難題，加速第四次工業(yè)革命！
一夜之間，機(jī)器夜間識別的難題就被攻克了！
一篇AI與熱物理學(xué)結(jié)合幫助機(jī)器在夜間成像的文章登上了Nature的封面。
文章的一作是畢業(yè)于浙江大學(xué)的Fanglin Bao，現(xiàn)在為普度大學(xué)研究員。
作者甚至認(rèn)為，這項(xiàng)技術(shù)能夠加速第四次工業(yè)革命的進(jìn)程！
這項(xiàng)名為HADAR的技術(shù)，由來自普度大學(xué)和密歇根州立大學(xué)的研究人員研發(fā)而出。
讓機(jī)器能像白天一樣識別周圍的環(huán)境，完成測距等一系列任務(wù)，對于自動駕駛等行業(yè)來說是革命性的突破。
長久以來，機(jī)器夜視很難做到像日天那樣清晰。
對于夜間機(jī)器感知問題的處理，最先進(jìn)的辦法是利用熱成像技術(shù)來重現(xiàn)環(huán)境。
但是夜視攝像機(jī)成像一般是單色的，而使用熱成像技術(shù)拍攝，則會因?yàn)椴蹲降教嗖槐匾臒嵝盘�，�?dǎo)致成像時(shí)出現(xiàn)許多「噪音」，導(dǎo)致物體「重影」。
具體來說，因?yàn)槲矬w和環(huán)境不斷發(fā)射和散射熱輻射，場景的物理屬性，即溫度（T，物理狀態(tài)）、發(fā)射率（e，材料指紋）和紋理（X，表面幾何形狀）混合在光子流中而無法被清晰的識別。
這就是熱成像結(jié)果中缺乏紋理相關(guān)的重影效應(yīng)「Ghost Effect」的來源。
以一個燈泡為例，人眼只有當(dāng)燈泡關(guān)閉時(shí)才能看到燈泡表面的幾何紋理。
因?yàn)楫?dāng)燈泡打開時(shí)，反射所呈現(xiàn)的紋理在直接發(fā)射的光線中會完全消失，這是我們?nèi)粘＝?jīng)驗(yàn)中熟悉的場景。
TeX技術(shù)解決重影效應(yīng)
研究團(tuán)隊(duì)首先提出了一種被稱為「TeX分解」和「TeX視覺」的基礎(chǔ)技術(shù)來解決重影效應(yīng)。
該方法能有效地從雜亂的熱信號中恢復(fù)紋理。
再訓(xùn)練算法來識別已知材料（如玻璃、木材或織物）的獨(dú)特發(fā)射光譜。
通過識別場景中的這些已知特征，該算法可以表征它觀察到的對象。
然后，剩下的任務(wù)就是處理環(huán)境信號和「噪音」，不讓它們從目標(biāo)物體上反射并進(jìn)入相機(jī)。
再通過逆向工程來評估噪聲信號如何反射和散射，這個算法就可以填充有關(guān)每個對象紋理的信息，從而為圖像提供更高水平的細(xì)節(jié)。
具體的過程如下圖所示。
完成的效果和現(xiàn)有的熱能視覺解決方案一對比，不知道高到哪里去了。
HADAR系統(tǒng)
在TeX技術(shù)的基礎(chǔ)上，研究人員進(jìn)一步研發(fā)出了熱輔助檢測和測距（HADAR）技術(shù)，基本上攻克了機(jī)器夜間識別的問題。
簡單來說，TeX技術(shù)主要是解決成像的問題，而HADAR是一個識別系統(tǒng)，在TeX優(yōu)秀成像的基礎(chǔ)上更精確地完成復(fù)雜的識別，測距等任務(wù)。
HADAR是一種機(jī)器感知范式的徹底轉(zhuǎn)變， 它與之前的主動發(fā)出雷達(dá)、激光的成像手段不同。
它不主動發(fā)出任何信號，只接受來自環(huán)境中的熱信號。
大氣透射窗口（Atmospherical transmittance window）和場景溫度決定了HADAR的工作波長。
研究人員表示，HADAR可能代表了未來機(jī)器視覺技術(shù)的重要方向和特征。
因?yàn)殡S著自動駕駛、無人機(jī)之類技術(shù)的發(fā)展，來自不同機(jī)器的信號可能會越來越多地相互干擾，而HADAR能夠非常好地解決這些問題。
此外，HADAR將熱光子流作為輸入，記錄高光譜熱立方體圖像，通過TeX分解處理重影，并生成TeX視覺以實(shí)現(xiàn)改進(jìn)的檢測和測距。
研究團(tuán)隊(duì)也在論文中分享了他們搭建的兩個原型系統(tǒng)作為實(shí)例：
第一個原型系統(tǒng)
低端HADAR原型基于商用FLIR熱成像相機(jī)，并配備了定制設(shè)計(jì)的光譜模塊（見下圖）。
他們在夜晚的戶外場景中放置了一輛汽車、一個人和一個愛因斯坦剪影（模擬一個幾何形狀的人），來說明HADAR如何解決幻影制動問題。
上圖顯示，RGB光學(xué)成像（a）和稀疏的LiDAR點(diǎn)云（c；Velodyne Puck VLP-16）都無法區(qū)分真實(shí)尺寸的愛因斯坦卡板。
此外，由于汽車反射率低，LiDAR難以檢測黑色汽車，而光學(xué)相機(jī)在黑暗中無法看到物體。
HADAR在相應(yīng)的材料區(qū)域（皮膚-織物）檢測到人體，并清楚地將其與紙板區(qū)分開來，克服了幻影制動問題。
HADAR利用物理背景進(jìn)行真實(shí)世界感知的優(yōu)勢將在自主導(dǎo)航和野生動物監(jiān)測中得到充分利用。
因?yàn)槌艘曈X外，還需要識別多種物理屬性，以確保安全性或者用于科學(xué)研究的有效性。
第二個原型系統(tǒng)
研究人員的高端應(yīng)用HADAR原型基于一臺推掃式高光譜成像儀。
他們使用越野場景來展示TeX視覺如何通過物理背景看到紋理，并且HADAR在夜晚的測距性能優(yōu)于熱測距技術(shù)，其準(zhǔn)確度可與白天的RGB立體視覺相媲美。
下圖展示了在夜晚的真實(shí)TeX視覺，包括材料識別和紋理恢復(fù)。
下圖顯示了夜晚TeX視覺、夜晚熱視覺和白天RGB視覺的立體視覺度量統(tǒng)計(jì)。
下圖b中基于RGB深度度量標(biāo)準(zhǔn)化的度量比較清楚地表明，HADAR夜晚測距技術(shù)優(yōu)于熱測距技術(shù)，并與白天RGB立體視覺相匹配，可簡寫為「TeX_night>RGB_day>IR_night」。
有關(guān)通用HADAR測距技術(shù)，見下圖。
而業(yè)界對這個研究持非常樂觀的態(tài)度：
HADAR能夠確定場景中物體的組成，如果它能與傳統(tǒng)成像技術(shù)結(jié)合，那么，不論白天黑夜，它都可以為我們提供更多關(guān)于場景的獨(dú)特信息。
但要指出的是，這個研究目前僅在靜止的圖像上進(jìn)行，需要進(jìn)一步提升收集測量值速度，以及處理運(yùn)動模糊問題。
想要將這個研究應(yīng)用在現(xiàn)實(shí)中，還有很多挑戰(zhàn)。
華人作者介紹
Fanglin Bao
Fanglin Bao博士2011年6月在浙江大學(xué)獲得物理學(xué)學(xué)士學(xué)位，并于2016年6月在浙江大學(xué)獲得光學(xué)博士學(xué)位。目前研究的是張量網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)及其在量子物理中的應(yīng)用。
Xueji Wang
Xueji Wang 就讀于美國普渡大學(xué)電氣與計(jì)算機(jī)工程學(xué)院，研究方向?yàn)闊彷椛�、光偏振表面態(tài)等，并在CLEO會議上發(fā)表了兩篇文章。
LipingYang
Liping Yang是地理信息科學(xué)（GIScience）和地理空間人工智能（GeoAI）助理教授�，F(xiàn)專注于技術(shù)圖表圖像分析的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法開發(fā)。
參考資料：
