12月26日，36氪硬氪在深圳前海召開了硬科技黃金時(shí)代大會(huì)。大會(huì)邀請(qǐng)了硬科技大量一線投資機(jī)構(gòu)、科技公司、專家學(xué)者，共設(shè)立14個(gè)主題演講、2個(gè)圓桌。主題涉及半導(dǎo)體投資、新材料投資、人民幣投資、專精特新成長(zhǎng)等多個(gè)熱門賽道。
26日下午，銳思智芯創(chuàng)始人兼CEO鄧堅(jiān)先生進(jìn)行了《Hybrid Vision Sensor:變革智能感知時(shí)代》的主題分享，以下為演講內(nèi)容：
非常感謝36氪給我們這個(gè)機(jī)會(huì)，我和大家分享的是傳感器的變革，順帶也會(huì)把我們的傳感器產(chǎn)品給大家介紹一下。
剛才聽各位嘉賓的分享，感觸很深。產(chǎn)業(yè)鏈的國產(chǎn)化，從材料到設(shè)計(jì)，再到系統(tǒng)，整個(gè)的變革的確是百年未有之大變局，傳感器也是一樣。
這是162年前的第一個(gè)影像出來的場(chǎng)景，當(dāng)時(shí)是拍一匹馬，是用化學(xué)曝光的圖像進(jìn)行連續(xù)播放形成黑白圖片。這是咱們現(xiàn)在拍的，實(shí)際上它并不是真正的拍攝，而是一個(gè)普通的視頻再加上chatGPT還原�，F(xiàn)在圖像的拍攝，它對(duì)畫質(zhì)的追求已經(jīng)到了一個(gè)極致，不過這并不是圖像傳感器或者視覺傳感器的全部。當(dāng)前的圖像和視覺傳感器還承接了更多的工作，從拍照來說，比如手機(jī)和機(jī)器人，除了圖像大家還想從那獲得更多的信息，比如距離信息，光譜信息，還有另外一類信息也是非常重要的，就是運(yùn)動(dòng)信息。運(yùn)動(dòng)信息可以用來干什么呢？我們先說說缺少它會(huì)有什么樣的現(xiàn)象。
162年前的第一個(gè)影像
第一，運(yùn)動(dòng)模糊。在拍照的過程中，我們有個(gè)曝光的時(shí)間，在這個(gè)曝光的時(shí)間，所有運(yùn)動(dòng)過程都被采集，但是它會(huì)合成一張圖片進(jìn)行輸出，就變成了一個(gè)模糊的圖像。
第二，冗余數(shù)據(jù)。比如我們拍照片是靜態(tài)的圖像，我們已經(jīng)知道了它的信息，但是對(duì)于每張圖片進(jìn)行重復(fù)的拍攝，我們需要知道的只是其中的變化，也就是運(yùn)動(dòng)和變化，所有的靜態(tài)信息是被反復(fù)獲得的，它其實(shí)是因?yàn)闆]有辦法區(qū)分動(dòng)態(tài)和靜態(tài)的信息，所以導(dǎo)致了冗余的數(shù)據(jù)量。
第三，在拍攝的時(shí)候，攝像頭通過曝光，就有曝光時(shí)間，曝光時(shí)間是根據(jù)光的強(qiáng)度進(jìn)行調(diào)整，但是人去看一樣?xùn)|西的時(shí)候沒有這樣的概念，所以我們會(huì)發(fā)現(xiàn)，圖像在暗的時(shí)候需要的曝光比較長(zhǎng)，亮的時(shí)候曝光比較短，但是實(shí)際應(yīng)用場(chǎng)景中，會(huì)有明暗都存在的場(chǎng)景，現(xiàn)在的技術(shù)就用多張圖像進(jìn)行融合。在融合的過程中，這幾張圖片拍攝的時(shí)間點(diǎn)不一樣，中間有誤差、移動(dòng)，合成之后就形成鬼影，這是幀與幀之間的圖像信息丟失。
這個(gè)出現(xiàn)之后，大家一直在研究，對(duì)于新型傳感器怎么樣能夠獲取運(yùn)動(dòng)的信息。其中有一個(gè)技術(shù)，從90年代開始一直做研究，這個(gè)就是我們今天要介紹的事件傳感技術(shù)，它是基于人眼的感知方式，只對(duì)變化敏感。所有的感知都是從像素實(shí)現(xiàn)，像素感知到光的變化信息，這個(gè)變化信息在像素內(nèi)進(jìn)行放大，然后在像素里進(jìn)行比較，同時(shí)通過比較的信號(hào)，把變化的信息或者是運(yùn)動(dòng)的信息通過一個(gè)數(shù)字域的轉(zhuǎn)換進(jìn)行輸出。直觀來看，它輸出的圖像，就像我們看到的實(shí)際場(chǎng)景，它是一個(gè)小熊掉到水杯里的過程。對(duì)于事件感知，它不顯示靜態(tài)的信息，因?yàn)殪o態(tài)的信息不感知，它只感知變化，而且所有的處理都是連續(xù)的，所以幀率、效率都非常高。也就是說，它通過一種新的感知方式，把運(yùn)動(dòng)和變化的信息進(jìn)行了非常好的提齲比如它與現(xiàn)在攝像頭拍攝的圖片來說，流暢度會(huì)有非常大的提升。
但是問題也很明確，如果我們不看實(shí)際的場(chǎng)景，只看這個(gè)事件感知輸出的畫面，沒有靜態(tài)信息，得到的信息量非常少。它能夠在一些功能上，比如在幀率、數(shù)據(jù)量上有很高的提升，但是因?yàn)樗狈α遂o態(tài)信息，所以它很難在一個(gè)場(chǎng)景里進(jìn)行覆蓋和提升。所以，雖然事件傳感技術(shù)在2021年被索尼量產(chǎn)了，并且在工業(yè)領(lǐng)域有一些應(yīng)用，但很多在座朋友在大部分場(chǎng)景都沒有看到它在實(shí)際應(yīng)用中落地。
事件傳感技術(shù)的技術(shù)原理
在傳統(tǒng)的消費(fèi)電子領(lǐng)域、車載電子等領(lǐng)域，如果要用到事件傳感技術(shù)，為了覆蓋這個(gè)場(chǎng)景，需要把事件攝像頭和傳統(tǒng)的攝像頭進(jìn)行組合，同時(shí)輸出事件和圖像兩個(gè)畫面，再進(jìn)行算法的匹配，這是雙攝的方案。但問題是如何做更好的配準(zhǔn)，機(jī)器上如何達(dá)到實(shí)際使用的需求。實(shí)際情況，手機(jī)這樣的場(chǎng)景無法添加事件傳感這么單一的攝像頭，所以這個(gè)技術(shù)一直沒有大規(guī)模應(yīng)用的原因也是在于此。
我們提出的方案是，將事件和圖像融合在一個(gè)傳感器里面，它能夠把事件的感知功能和圖像的功能在一個(gè)像素里進(jìn)行一個(gè)集成，這也是我們率先提出的概念，也是我們目前在量產(chǎn)的技術(shù)。這是我們給手機(jī)做的一款芯片，它就是傳統(tǒng)的傳感器一樣的像素結(jié)構(gòu)，通過堆疊工藝，把圖像的功能和事件感知功能集成在一個(gè)像素里面，這個(gè)像素可以同時(shí)輸出事件和圖像兩個(gè)圖片，好處是解決了事件沒有靜態(tài)信息，圖像沒有運(yùn)動(dòng)信息的問題；它通過這樣的一種結(jié)合，可以很好的把運(yùn)動(dòng)和靜態(tài)進(jìn)行一個(gè)互補(bǔ)，實(shí)現(xiàn)了對(duì)圖像傳感器的運(yùn)動(dòng)信息延拓。
融合式高端視覺傳感器
這是我們做出來的方案，同時(shí)輸出事件和圖像能夠得到的效果。這里需要提到的是我們做傳感器就是做一件事情，傳感器最關(guān)鍵的三個(gè)參數(shù)，幀率、數(shù)據(jù)量以及動(dòng)態(tài)范圍，我們做傳感器一直在平衡這3個(gè)參數(shù)，在每一個(gè)場(chǎng)景去適配這3個(gè)參數(shù)的平衡，來達(dá)到匹配這個(gè)場(chǎng)景的目的。但是現(xiàn)在很多的一些應(yīng)用里，比如車載，它沒有辦法再去找到這樣的平衡，因?yàn)樗刃枰俣群芸�，�?duì)數(shù)據(jù)量的要求又非常極致，它在各種各樣的光照環(huán)境下都要能夠很好的工作。傳統(tǒng)的傳感器達(dá)不到，但是事件傳感器就可以平衡這個(gè)，比如它的幀率，比如我們現(xiàn)在做到的將近1千萬的像素，幀率可以做到4千幀每秒，這是非常高的速度。
對(duì)于傳統(tǒng)的高速攝像頭來說，這樣的幀率會(huì)形成巨量的數(shù)據(jù)量，因?yàn)槭录蹲降闹皇亲兓�，所以它的事件�?shù)據(jù)有效性非常高，它能夠在幀率很高的同時(shí)，把數(shù)據(jù)量和功耗壓制住，它的環(huán)境適應(yīng)能力極強(qiáng)，可以把幀率、數(shù)據(jù)量、運(yùn)動(dòng)范圍進(jìn)行很好的提升，加上傳統(tǒng)的圖像傳感器數(shù)據(jù)，拍照、機(jī)器視覺的功能就得到很大的增強(qiáng)�；谖覀�?cè)趥鞲衅鞯姆e累，迭代了3次，現(xiàn)在開始實(shí)現(xiàn)消費(fèi)電子（手機(jī)、安防、AIOT）領(lǐng)域大規(guī)模的應(yīng)用，相信大家不久就能夠看到基于Sensor做出來的產(chǎn)品。
我們公司成立4年，總部在深圳，在南京、北京、蘇黎士都有分公司。我們有超過200多個(gè)發(fā)明專利，涵蓋了從像素到數(shù)據(jù)結(jié)構(gòu)、芯片架構(gòu)、應(yīng)用、算法等一系列的專利，所以這一塊，在全球在融合視覺里布局專利是最多的。
在整個(gè)行業(yè)里，我們所處的這一細(xì)分行業(yè)還是挺受各個(gè)行業(yè)的重視。36氪也對(duì)我們有比較多的報(bào)道，我們也參與了很多評(píng)眩我們現(xiàn)在有兩款芯片，一款是用于消費(fèi)電子，是手機(jī)的應(yīng)用，能夠輸出高質(zhì)量圖像的同時(shí)，能夠非常好的輸出運(yùn)動(dòng)的信息，實(shí)現(xiàn)特殊的功能；另外一款是是作為安防的高端芯片，能夠?qū)崿F(xiàn)暗光全彩，以及暗光下對(duì)運(yùn)動(dòng)物體的捕捉，而且通過低功耗的特性實(shí)現(xiàn)安防攝像頭本地智能化，比如可以做事件的判斷，當(dāng)發(fā)生感興趣的事件進(jìn)行推送。
現(xiàn)在大家看到的是消費(fèi)電子用的去模糊。左邊的圖片是實(shí)際拍攝的圖片，拍攝一個(gè)運(yùn)動(dòng)的畫面，它會(huì)有因?yàn)檫\(yùn)動(dòng)造成的模糊，模糊的去除是現(xiàn)在沒有解決的問題，因?yàn)樗枰涝谄毓膺^程中，每一個(gè)像素的拍攝無題運(yùn)動(dòng)軌跡，這是幾乎不可能獲得的。但是基于我們的傳感器，因?yàn)榭梢钥焖俨蹲阶兓�，而且這個(gè)變化非常高效，通過這個(gè)能夠獲得整個(gè)特征點(diǎn)的運(yùn)動(dòng)軌跡，然后對(duì)它進(jìn)行反推就能夠形成特別清晰的圖片。
這是慢動(dòng)作，原理是在兩幀之間通過技術(shù)變化，在任意時(shí)間點(diǎn)和原始圖片加上變化的數(shù)據(jù)進(jìn)行結(jié)合，重構(gòu)，可以生成高速的圖片出來。它實(shí)現(xiàn)了非常低成本又能夠適應(yīng)不同光照環(huán)境的高速攝像功能。
顯示對(duì)比圖
這是現(xiàn)在用到的傳感器的典型問題，從隧道里出來，外面很亮，這個(gè)時(shí)候傳感器是失效的，左邊的圖是通過事件感知拍攝出來的特征信息，它不會(huì)受到光照的影響，可以有非常穩(wěn)定的輸出。通過事件數(shù)據(jù)和圖像數(shù)據(jù)可以重構(gòu)出中間的視頻，這個(gè)視頻也就是在各種光照情況下輸出的。
端側(cè)智能
這是我們做的端側(cè)智能，歡迎大家到我們的展臺(tái)看，我們有1千幀的結(jié)構(gòu)光，這是用于AR、VR，它可以實(shí)現(xiàn)超低功耗、超高速的3D視覺，比如手勢(shì)識(shí)別、摔倒識(shí)別都可以通過很好的實(shí)現(xiàn)。我們也和一個(gè)大廠做眼動(dòng)追蹤，主要是通過事件高速的特征，和低功耗的特征，來實(shí)現(xiàn)非常靈敏、快速、非常準(zhǔn)確的眼睛的運(yùn)動(dòng)追蹤。我們還做了機(jī)器人的應(yīng)用，這里不仔細(xì)講。
在車的方面，有車內(nèi)的DMS系統(tǒng)，在保護(hù)隱私的同時(shí)可以監(jiān)控眼動(dòng)、眨眼等快速細(xì)節(jié)的特征。在車上，也可以做電子后視鏡。我們的傳感器有一個(gè)特點(diǎn)，即適合給人觀看，因?yàn)樗軌驇矸浅?yōu)質(zhì)的視頻，而且不容易出現(xiàn)模糊或者是過曝等。它通過事件也可以給機(jī)器視覺提供非常高效的數(shù)據(jù)，能夠滿足后視鏡對(duì)人看和對(duì)機(jī)器看的需求。其他的應(yīng)用，包括光流、機(jī)器評(píng)測(cè)、轉(zhuǎn)速評(píng)測(cè)等，這是一個(gè)底層器件。我們也和各個(gè)行業(yè)的巨頭合作比較多，希望通過這樣的生態(tài)，能夠一起把新技術(shù)變成一個(gè)能改變大家生活的產(chǎn)品。
非常感謝大家！
