芯東西（公眾號(hào)：aichip001）
編輯 | GACS
9月14日-15日，2023全球AI芯片峰會(huì)（GACS 2023）在深圳市南山區(qū)圓滿舉行。在第二日的高能效AI芯片專場中，諾磊科技創(chuàng)始人、CEO Raymond Wu分享了主題為《感算一體AI光譜分析芯片陣列技術(shù)解析》的主題演講。
諾磊科技推出的集成CIS+AI+MCU光譜識(shí)別功能的感算一體AI光譜分析芯片陣列技術(shù)“Eye with Brain”，能做到“1個(gè)眼睛照顧8個(gè)大腦”，還能實(shí)現(xiàn)對多頻段光譜的檢測與分析。有別于AI業(yè)界的傳統(tǒng)算法，諾磊科技的產(chǎn)品配合高度集成機(jī)器影像辨識(shí)傳感器，能獨(dú)立運(yùn)行實(shí)現(xiàn)影像偵測、追蹤及識(shí)別。
諾磊科技創(chuàng)始人、CEO Raymond Wu談道，諾磊科技在首款110nm工藝量產(chǎn)芯片NB1001上，結(jié)合WLO（晶圓級光學(xué)）技術(shù)，將光學(xué)元件集成到半導(dǎo)體晶圓上，設(shè)計(jì)為類似于麥克風(fēng)陣列的光譜檢測陣列。
Raymond Wu還提到曾經(jīng)一枝獨(dú)秀的影像解決方案CCD由于系統(tǒng)體積大、成本高、功耗大、落地難逐漸被CIS（CMOS圖像傳感器）取代。這與當(dāng)下AI應(yīng)用有相似性，他認(rèn)為高算力并不是能百分之百解決所有AI應(yīng)用的手段，AI應(yīng)用的算力需求取決于具體應(yīng)用的場景，單一化應(yīng)用沒有必要做復(fù)雜的AI芯片。
以下為Raymond Wu的演講實(shí)錄：
大家好！大家可以叫我Raymond，今天我要講的不單是一個(gè)產(chǎn)品，我要講的是一個(gè)市場應(yīng)用的未來方向，大概至少要三四十年，這個(gè)方向都不會(huì)變。
我不知道大家有沒有用過CIS，我是OmniVision（美國豪威科技）的聯(lián)合創(chuàng)始人，所以O(shè)mniVision的名字是我取的，在1995年。
一、大算力非唯一解，“小芯片”也能加速AI應(yīng)用落地
我今天講的是方向，大家都在往這個(gè)方向走，不單是說哪一個(gè)人的產(chǎn)品特別，跟別人不一樣，我相信大家?guī)缀醵家粯�。用豪威科技的CIS來說，我1995年的時(shí)候做出了CIS，大家可以看，1995年到2023年，二十幾年了，CIS還是沒有被替換掉，各位手機(jī)上假如沒有CIS，手機(jī)就沒有攝像頭，攝像頭完全依賴于CIS。
為什么講到CIS？我先講一下歷史，CIS是一個(gè)方向，在1995年的時(shí)候市場上只有一種解決方案，叫CCD，CCD在市場上活了快二十年，一直到1995年慢慢被CIS替換了。
為什么會(huì)被替換？幾個(gè)大問題：一是系統(tǒng)體積很大，二是成本高，三是功耗很大，四是落地很難。所以要把CCD的解決方案做好，全世界真的沒有多少人會(huì)做，所以說CCD一直在世界上占著不可或缺的地位。
一直到了1995年，CIS出來了，CIS就把這四個(gè)最大的問題：體積、成本、功耗、落地一次全解決了。當(dāng)然你可以說，1996年就有奇跡出現(xiàn)了嗎？其實(shí)不是，CIS替代CCD大概花了15年的時(shí)間，差不多到了2005年左右，CCD慢慢就消失了，取代的全是CIS。
我今天講的是邊緣計(jì)算，我相信大家一定都知道AI應(yīng)用，我們現(xiàn)在很多的AI應(yīng)用，人工智能的應(yīng)用，你會(huì)發(fā)現(xiàn)跟CCD有同樣的問題：功耗大、體積大、又貴、落地難，這些問題跟CCD是一樣的，只是CCD是1995年發(fā)生的，人工智能的應(yīng)用是我們現(xiàn)在看到的。
我要講的就是，我們現(xiàn)在一直追求高算力，為什么一定要追求高算力呢？高算力越走越高，那應(yīng)用場景是不是越來越小了。所以高算力并不是一個(gè)百分之百解決所有應(yīng)用的唯一手段。
我認(rèn)為，人工智能應(yīng)用的存在絕對不是靠算力，人工智能的應(yīng)用完全取決于應(yīng)用。比如我今天走進(jìn)門的時(shí)候，門要自己開，門開了以后門關(guān)起來了，就這么簡單，我需要20T的算力嗎？當(dāng)然不用，需要多少T？像這種簡單的應(yīng)用，大概0.1T、0.2T就做完了。所以這些算力取決于你的應(yīng)用，應(yīng)用很單一化的話，真的沒有必要去做這么復(fù)雜的芯片，簡單的就可以了。
我先講一下功能，我相信在座的大家都是做IC（集成電路）的，第一行110nm工藝，現(xiàn)在大家講的最小也要到22納米，或者10納米，甚至到7納米，目的是在追求算力。
我今天要講的是，我這110nm的只有0.3T的，我能做什么，大家有空可以到外面看一下，我們有一些方案，就是用單一芯片就可以達(dá)到人眼的追蹤、手勢識(shí)別，我們都可以做到。
我們的解析度現(xiàn)在是320×320 CIS，像素尺寸是3um×3um，Always on工作模式功耗300mW，內(nèi)存288K SRAM，就跟剛才存算一體的有很大的差別，里面除了這288K以外，我們在外面是沒有任何芯片的，就是單一芯片。我也不要說把所有東西存在內(nèi)存，所有的一顆芯片全搞定。
這是兩個(gè)完全不同的方向，一個(gè)追求高算力，另一個(gè)是怎么集成，以諾磊首款量產(chǎn)芯片NB1001為例，這個(gè)芯片連鏡頭都做在里面了，所以只需要在PCB上面打件，就可以做人臉（識(shí)別）。外面有展示，你們可以看。
我想說的是有很多解決方案，高算力是一種解決方案，低算力在應(yīng)用上假如對的話，也是一個(gè)很好的解決方案。
我們公司做的就是把信息輸入眼睛里，因?yàn)槲覀兊难劬σ呀?jīng)放在IC里面了，所以眼睛可以看到所有的東西，然后眼睛看到的東西傳到IC里面來，大腦也在里面，記憶也在里面，所有的判斷也在里面，算法也在里面，最后就是輸出一個(gè)結(jié)果，比如說做剪刀石頭布，它就直接跟你說剪刀石頭布，外面什么都不要。所以這個(gè)做法跟想法，和現(xiàn)在高算法的AI SoC有很大的不同。
（見PPT）右邊上面這個(gè)是我們這顆IC的做法，第一個(gè)，圖像處理，因?yàn)橹挥?88k，所以單次僅讀取4列，這288K里面還含著所有的固件、軟件，所有的都直接灌到這288k里面。
其中144k是里面的Operation用的。它的開發(fā)時(shí)間很短，功耗當(dāng)然很低，需求量就會(huì)做得很大，因?yàn)樗亲罨A(chǔ)的IoT的解決方案�，F(xiàn)在想到的，不想做的重復(fù)的動(dòng)作，幾乎這顆芯片都幫你做掉了。
那這跟高算力有很大不一樣，高算力第一個(gè)問題就是有隱私的問題，我們因?yàn)闆]有存整幅的影像，隱私度非常高。另外芯片外面沒有內(nèi)存，開發(fā)成本也更低。
我們公司因?yàn)槭琴uIC的，所以我們把我們的SDK完全公布出來了，不管任何一個(gè)人想要研發(fā)任何一個(gè)應(yīng)用，想要用我們的芯片，可以來我們公司，我們會(huì)給你們一個(gè)SDK，不收錢，也會(huì)教你怎么用，目的就是我們是賣IC的。
二、解密AI光譜分析芯片陣列，鑒定黃金和豬肉其實(shí)是“一回事”
我剛才講的是很簡單的，接下來講的更專業(yè)。因?yàn)椋ㄐ酒┟娣e很小，我可以做出一個(gè)陣列，就跟麥克風(fēng)陣列一樣的，我們這個(gè)是光的陣列，這個(gè)在外面也有展示，大家等下可以去看，因?yàn)檫@是一個(gè)非常新的想法。
這個(gè)芯片有一個(gè)優(yōu)點(diǎn)，它是WLO（Wafer Level Optic），怎么做呢？大家知道我們的IC都是一片一片的，現(xiàn)在就是把一片8寸的鏡片直接疊在晶圓上，連續(xù)兩片，就相當(dāng)于兩片重疊，然后膠水一澆，一切，切完就是大家手上看到的東西。
所以它的生產(chǎn)變得非�？�，而且非常準(zhǔn)，它不用再調(diào)焦了，因?yàn)樯厦嬗醒劬�，可是需要鏡頭，鏡頭需要調(diào)焦，用這種做法都不需要調(diào)焦了，只要拿來以后，SMT打在板上就可以用了，連鏡頭都含在里面了。這是一個(gè)預(yù)估，這是一個(gè)最快最好最準(zhǔn)的解決方案。
這個(gè)是黑白的，大家不要把它當(dāng)作高解析度的照相，它是一個(gè)機(jī)器識(shí)別，一般來說機(jī)器識(shí)別的解析度并沒有必要到4000萬象素或者1000萬象素，320×320就已經(jīng)解決了60%、70%的IoT應(yīng)用。
大家可以看一下，人眼可以做的，我們這個(gè)IC都可以做得到。所以最下面這一行，它就是人眼的延伸，所以它能夠做GIGI，GIGI的意思就是能夠做引導(dǎo)、檢查、測量、識(shí)別，這四樣?xùn)|西完全在一個(gè)里面就可以做到。
我們公司把它取了一個(gè)名字，叫Eye with Brain，我們現(xiàn)在人類是眼睛跟大腦分開，所以一個(gè)大腦要照顧兩個(gè)眼睛，英偉達(dá)的芯片是一個(gè)大腦要照顧8個(gè)眼睛，我們是一個(gè)眼睛一個(gè)大腦，要是有兩個(gè)眼睛就有兩個(gè)大腦，四個(gè)眼睛就是四個(gè)大腦，完全平行處理，每個(gè)眼睛可以定義它，讓它做不同的事情，所以四個(gè)眼睛可以同時(shí)做四個(gè)不同的事情。
每個(gè)眼睛有它自己的大腦，它不需要3T、5T，每個(gè)眼睛可能1T就夠了。需要五個(gè)眼睛就用5T，要是需要10個(gè)眼睛就用10T，它是分布式的，所以每個(gè)眼睛就是1T。
這個(gè)影像陣列必須經(jīng)由剛才的一顆一顆的小芯片來實(shí)現(xiàn)。我們現(xiàn)在做的是2×3，就是6顆。我憑什么可以做到6顆，第一個(gè)是我們單顆IC，在自然風(fēng)室溫下的IC溫度只有40度，因?yàn)樗?.3W的關(guān)系，所以它的整顆IC溫度只有40度。也因?yàn)檫@樣，我才有辦法做成2×3，因?yàn)樗粫?huì)很熱，所以加起來的溫度散熱仍然可以達(dá)到40度的平均溫度。
2×3的并行能力、運(yùn)算能力，現(xiàn)在不是單一芯片的高算力了，而是現(xiàn)在有6顆一般算力的加在一起用，所以它可以做海量的圖像數(shù)據(jù)的并行處理。第二，它的擴(kuò)展性很高，采用模塊式的設(shè)計(jì)。
諾磊NB100X系列中的2×3陣列有6顆（小芯片），大家看到為什么18mm，因?yàn)橐活w是6mm，3顆就是18mm，它的寬度是4mm，所以兩顆就是8mm，所以這邊有6顆，所以六個(gè)大腦六個(gè)眼睛放在一起。假如說其中一顆壞了，另外一顆可以取代，所以說不用怕壞了以后整個(gè)系統(tǒng)就壞了。
功耗也可控，為什么？因?yàn)檫@六顆可以隨時(shí)關(guān)掉一顆兩顆，用的時(shí)候再開，所以非常好控制。
熱管理對我們來說非常容易，我們的應(yīng)用絕對不需要風(fēng)扇或者水冷，就是一般的溫度就可以了。結(jié)構(gòu)很規(guī)整，大家看得到，這個(gè)是在wafer上面的，它不是在PCV板上焊在一起的，是wafer上就連在一起的。
可以看一下2×2陣列，所以我們測試也很快，這四顆在一個(gè)測試板上就可以測試完了。設(shè)計(jì)也可以重復(fù)利用。
這是3×3的陣列也一樣，因?yàn)槲覀兪窃诰A上，所以它的平整度非常高，晶圓平整度絕對是世界上最高的。而且它的間距絕對不會(huì)變，它的間距一致性比在PCB板上的一致性好。
還有4×1的陣列，制造簡單，材料利用效率高，這方面都實(shí)現(xiàn)了。這也是一些它的優(yōu)點(diǎn)：封裝、良率可以提高。
我現(xiàn)在講一下結(jié)論：上面的是單顆芯片的IC，下面是經(jīng)過IC，經(jīng)過WLO，組成3×2的產(chǎn)品，所以下面這個(gè)有六個(gè)大腦、六個(gè)眼睛，上面這個(gè)是一個(gè)大腦、一個(gè)眼睛。
剛才講的是小的應(yīng)用，我現(xiàn)在講一下另外一個(gè)應(yīng)用，這跟剛才那個(gè)還不一樣，因?yàn)槲覀兊腎C里面有AI，所以可以在IC上面加上光譜，就可以接受很特定的光譜。
比如今天要看看黃金買的是真假，那可以用這顆IC，上面有定義好的專門檢測黃金真假的光譜，一照這個(gè)IC就會(huì)跟你講，你今天買的黃金是真是假。或者你買到的玉是玻璃還是石頭，都可以從光譜里面直接抓出來。
甚至以后買的肉是好是壞，多久了，壞了沒有，都可以經(jīng)過光譜議測試出來。但是有一個(gè)差別，這個(gè)光譜議可以像一根手電筒一樣照它，跟你說玉是好還是壞，黃金是真是假，都可以做出來，因?yàn)槊恳粋�(gè)都有它特定的光譜，所以只要把這個(gè)東西放在IC上的話，就可以測出來特定光譜在特定應(yīng)用的真實(shí)性。
（見PPT）除了這個(gè)，我還可以做成光譜的矩陣。人是兩個(gè)眼睛的，所以可以看到立體，四個(gè)眼睛看的立體更強(qiáng)烈，這是用在光譜上，所以說這一個(gè)里面可以做不同鏡頭的角度；第二可以做不同的光譜；第三可以把它當(dāng)成很多應(yīng)用來用。應(yīng)用就很多了，可以做醫(yī)療健康、環(huán)保、自然生態(tài)等。
這里講的是spectrum（光譜）可以用在哪里，可以用在調(diào)光、攝像頭圖像增強(qiáng)、增強(qiáng)現(xiàn)實(shí)等方面，剛才單顆的就是放在VR里面，等一下給大家放一個(gè)視頻。這個(gè)就是我們實(shí)際上放在眼鏡里面，追蹤你眼球的移動(dòng)。這是眨眼，再看另外一邊。不管眼球轉(zhuǎn)多快，都會(huì)跟得上。這里面沒有什么所謂的高算力，對IC來說是很簡單的事。
不知道大家有沒有什么問題，沒有問題的話我在后面有一個(gè)展臺(tái)，歡迎大家過來看，不能說黑科技，都是很普通的東西，只是大家沒有講過而已。謝謝大家！
以上是Raymond Wu演講內(nèi)容的完整整理。
