圖片來源@視覺中國
文 | 追問NextQuestion，作者 | Anil Ananthaswamy，編譯 | 鑄雪
盡管ChatGPT和其他大型語言模型取得了巨大成功，但支撐這些系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（ANN）可能已經(jīng)步入歧途。
對于馬里蘭大學(xué)的計算機(jī)學(xué)家Cornelia Fermüller而言，人工神經(jīng)網(wǎng)絡(luò)“超級耗電”，“另一個問題在于，這些系統(tǒng)缺乏透明度。”這樣的系統(tǒng)非常復(fù)雜，以至于沒有人真正理解它們正在做什么，或者為什么它們運(yùn)行得如此之好。反過來，這也幾乎不可能使其可以實現(xiàn)類比推理，而這正是人類的做法使用符號來表示對象、想法及其之間的關(guān)系。
這些缺點(diǎn)可能源于現(xiàn)階段人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其構(gòu)建模塊：獨(dú)立的人工神經(jīng)元。每個神經(jīng)元接收輸入、執(zhí)行計算并產(chǎn)生輸出。現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)是由這些計算單元的精心設(shè)計組成的網(wǎng)絡(luò)，經(jīng)過訓(xùn)練即可完成特定任務(wù)。
然而，人工神經(jīng)網(wǎng)絡(luò)的局限性也早已顯現(xiàn)出來。例如，讓我們來思考如何構(gòu)建一個用來區(qū)分圓形和正方形的ANN。一種思路是在其輸出層中包含兩個神經(jīng)元，一個表示圓形，一個表示正方形。如果你想讓人工神經(jīng)網(wǎng)絡(luò)也能辨別形狀的顏色譬如藍(lán)色與紅色你需要四個輸出神經(jīng)元：藍(lán)色圓形、藍(lán)色正方形、紅色圓形和紅色正方形。更多的特征意味著更多的神經(jīng)元。
這不可能是我們的大腦感知自然世界及其所有變化的方式，因為這意味著“對于上述所有組合，神經(jīng)系統(tǒng)必須有某個對應(yīng)的神經(jīng)元”。加州大學(xué)伯克利分校的神經(jīng)科學(xué)家Bruno Olshausen指出，“譬如你的大腦中會有一個對應(yīng)紫色大眾汽車的傳感器。”
因此Olshausen等給出不同的觀點(diǎn)，即大腦中的信息是由大量神經(jīng)元的活動表征的。因此，對于紫色的大眾汽車的感知并非編碼為某個單獨(dú)神經(jīng)元的活動，而是編碼為數(shù)千個神經(jīng)元的活動。同一組神經(jīng)元，以不同的方式觸發(fā)，可能代表一個完全不同的概念（也許是一輛粉紅色的凱迪拉克）。
這是一種完全不同的計算方式（即所謂超維計算）的起點(diǎn)。其關(guān)鍵在于每條信息，例如汽車的概念，或者它的品牌、型號或顏色，或者所有這些信息，都被表征為一個單一的實體：一個超維向量。
向量不過是一個有序的數(shù)字?jǐn)?shù)組。例如，一個三維向量包含三個數(shù)字：三維空間中一個點(diǎn)的x、y和z坐標(biāo)。超維向量，或者說超向量可以是由10000個數(shù)字組成的數(shù)組，這就代表了10000維空間中的一個點(diǎn)。這些數(shù)學(xué)對象及其背后的代數(shù)原理足夠靈活和強(qiáng)大，足以使現(xiàn)代計算超越當(dāng)前的一些限制，進(jìn)而孕育出一種新的實現(xiàn)人工智能的路徑。
“這幾乎是我整個職業(yè)生涯中最興奮的事。”Olshausen如是說。對于他和其他許多人來說，超維計算預(yù)示著一個新世界在這個新世界中，計算是高效和穩(wěn)健的，機(jī)器做出的決策也是完全透明的。
進(jìn)入高維空間
為了理解超向量如何使計算成為可能，讓我們回到前文紅色圓形和藍(lán)色正方形圖像的例子。首先，我們需要向量來表示變量“形狀”和“顏色”。其次我們還需要向量來表示前面變量的賦值，即“圓”“方”和“紅”“藍(lán)”。
不同屬性的向量必須是不同的。這種差異可以通過被稱為正交性的屬性來量化，正交性本義指的是“成直角”。在三維空間中，可以找到這樣的相互正交向量：一個向量在x方向，另一個在y方向，第三個在z方向。而在10000維空間中，就會有10000個這樣相互正交的向量。
但是，如果我們允許向量可以近乎正交，那么高維空間中此類的不同向量的數(shù)量就會激增。在10000維空間中，就有數(shù)百萬個近乎正交的向量。
現(xiàn)在讓我們構(gòu)造不同的向量來表示“形狀”“顏色”“圓”“方”“紅”“藍(lán)”。因為在高維空間中有很多可能的近乎正交的向量，所以你可以只分配六個隨機(jī)向量來表示這六個項目；它們幾乎可以保證是近乎正交的。“構(gòu)造近乎正交向量的便捷性是使用超維表示的主要原因，”加州大學(xué)伯克利分校瑞德伍德理論神經(jīng)科學(xué)研究中心研究員Pentti Kanerva在2009年的一篇頗具影響力的論文中寫道。
這篇論文的基礎(chǔ)是Kanerva和Tony Plate在上世紀(jì)九十年代中期的工作，當(dāng)時他們是多倫多大學(xué)的博士生，師從Geoff Hinton。兩人獨(dú)立地發(fā)展了用于操作超向量的代數(shù)，并暗示了其在高維計算中的實用性。
對于我們有關(guān)形狀和顏色超向量，Kanerva和Plate發(fā)展的系統(tǒng)向我們展示了如何使用某些數(shù)學(xué)運(yùn)算來操作它們。這些操作對應(yīng)于對概念進(jìn)行符號化操作的方式。
第一種運(yùn)算是乘法。這是一種將觀念結(jié)合的方式。例如，將向量“形狀”與向量“圓形”相乘可將兩者綁定，用以表示“形狀是圓形”這一觀念。這個新的“綁定”向量近乎與“形狀”和“圓形”正交。此外各個元素是可恢復(fù)的如果想從綁定的向量中提取信息，這一特效就顯得至關(guān)重要。給出一個代表你的大眾汽車的綁定向量，你可以解除這種綁定并檢索到顏色對應(yīng)的向量，例如“紫色”。
第二種運(yùn)算是加法。這表示利用所謂概念的疊加來構(gòu)造一個新的向量。例如，將兩個綁定向量“形狀是圓形”和“顏色是紅色”相加，創(chuàng)建一個表示“紅色圓形”的向量。同樣地，相加后的向量可以被逆向分解為構(gòu)成它的向量。
第三種運(yùn)算是置換。這涉及將向量的各個元素重新排列。例如，對于一個三維向量，三個元素分別記為x、y和z，則置換可能會將x移動到y(tǒng)處，將y移動到z處，而將z移動到x處。“置換允許你構(gòu)造結(jié)構(gòu)，”Kanerva指出，“置換運(yùn)算允許你處理序列，序列代表了一個接一個發(fā)生的事情。”考察兩個事件，由超向量A和B表示。我們可以將它們疊加到一個向量中，但這會破壞有關(guān)事件順序的信息。將加法與置換運(yùn)算相結(jié)合可以保留順序信息；我們還可以通過逆運(yùn)算對事件按順序進(jìn)行檢索。
上述三種運(yùn)算證明我們足以創(chuàng)建允許符號推理的形式化的超向量代數(shù)。但是許多研究人員在發(fā)掘超維計算潛力方面的進(jìn)展很緩慢，包括Olshausen本人。他解釋道：“但它只是還沒有被充分理解。”
利用高維的力量
2015年，Olshausen的一名學(xué)生Eric Weiss展示了超維計算獨(dú)特能力的一個方面。Weiss解釋了如何將復(fù)雜圖像表示為一個單獨(dú)的超維向量，該向量包含有關(guān)圖像中所有對象的信息，包括它們的屬性，例如顏色、位置和大校
“我興奮地幾乎從椅子上掉下來了，”Olshausen說道，“突然之間，靈感來了。”
很快，更多的團(tuán)隊開始開發(fā)超維算法來復(fù)制深度神經(jīng)網(wǎng)絡(luò)在大約20年前就開始處理的簡單任務(wù)，例如圖像分類。
考察一個由手寫數(shù)字的圖像組成的注釋數(shù)據(jù)集。有一種算法能使用某種預(yù)定方案分析每個圖像的特征，然后為每個圖像創(chuàng)建一個超向量。接下來，該算法為數(shù)字0所對應(yīng)的所有圖像添加超向量，以便為數(shù)字0這一概念構(gòu)造一個超向量。緊接著其對所有數(shù)字執(zhí)行相同的操作，創(chuàng)建10“類”超向量，對應(yīng)每個數(shù)字。
之后給算法一個未標(biāo)記的圖像。它為這個新的圖像創(chuàng)建一個超向量，然后將超向量與存儲的10類超向量進(jìn)行比對，以此確定與新圖像最相似的數(shù)字。
然而，這僅僅是開始。超維計算的優(yōu)勢在于其能夠通過合成和分解超向量進(jìn)行推理。最新的成果演示是在今年3月份，彼時IBM蘇黎世研究院的Abbas Rahimi及其同事使用神經(jīng)網(wǎng)絡(luò)進(jìn)行超維計算來解決抽象視覺推理中的一個經(jīng)典問題這對傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)甚至某些人而言都是一個重大挑戰(zhàn)。這個問題被稱為瑞文推理測驗，測驗給出3×3的網(wǎng)格，網(wǎng)格中給出幾何對象的圖像。但其中有一個位置是空白的，受試者必須從一組候選圖像中選擇最適合空白位置的圖像。
“我們當(dāng)時說，‘這真的是……視覺抽象推理領(lǐng)域的殺手級實例，讓我們從這里開始吧！’”Rahimi回憶道。
為了使用超維計算解決這個問題，該團(tuán)隊首先構(gòu)造了一個超向量字典來表示每張圖像中的對象，字典中的每個超向量代表一個對象及其屬性的某種組合。然后，該團(tuán)隊訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)來檢查圖像并生成一個雙極超向量向量的元素可以是+1或-1其與字典中超向量的某種疊加盡可能接近。因此，生成的超向量包含有關(guān)圖像中所有對象及其屬性的信息。“你可以將神經(jīng)網(wǎng)絡(luò)引導(dǎo)到一個有意義的概念空間。”Rahimi解釋道。
一旦網(wǎng)絡(luò)為每個上下文圖像以及空白位的每個候選對象生成了超向量，相應(yīng)地另一種算法就會分析這些超向量，并為每個圖像中的對象數(shù)量、大小和其他特征創(chuàng)建概率分布。這些概率分布說明了上下文和候選圖像的可能特征，可以被轉(zhuǎn)換為超向量，允許使用代數(shù)來預(yù)測最有可能的候選圖像來填充空白位。
他們的方法在一組問題上的準(zhǔn)確率接近88%，而僅使用神經(jīng)網(wǎng)絡(luò)的方案準(zhǔn)確率不到61%。該團(tuán)隊的研究還顯示，對于3×3網(wǎng)格，他們系統(tǒng)的運(yùn)算速度是使用符號邏輯規(guī)則進(jìn)行推理的傳統(tǒng)方法的近250倍，因為傳統(tǒng)方法必須檢索大量規(guī)則之后才能確定正確的下一步。
充滿希望的起點(diǎn)
超維計算不僅賦予我們符號化地解決問題的能力，同時也解決了一些傳統(tǒng)計算所面臨的棘手問題。如果由隨機(jī)位反轉(zhuǎn)（某個0變?yōu)?，或者反過來）引起的錯誤無法通過內(nèi)置糾錯機(jī)制糾正，則當(dāng)今計算機(jī)的性能會迅速下降。此外，美國維拉諾瓦大學(xué)計算機(jī)科學(xué)家Xun Jiao表示，這些糾錯機(jī)制可能會對性能造成高達(dá)25%的損失。
而超維計算更能夠容忍錯誤，因為即使超向量遭遇大量隨機(jī)位反轉(zhuǎn)，其仍然接近原始向量。這意味著使用這些向量的任何推理在面對錯誤時都不會受到重要的影響。Jiao團(tuán)隊的研究已經(jīng)表明，這些系統(tǒng)對硬件故障的容忍度至少是傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的10倍，而傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)本身的彈性比傳統(tǒng)計算架構(gòu)高出幾個數(shù)量級。Jiao認(rèn)為，“我們可以利用上述各種彈性來設(shè)計高效的硬件。”
超維計算的另一個優(yōu)勢在于其透明性。代數(shù)可以清楚地告訴我們系統(tǒng)給出其答案的原因。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)則無法實現(xiàn)。Olshausen、Rahimi等正在開發(fā)混合系統(tǒng)，其中神經(jīng)網(wǎng)絡(luò)將物理世界中的事物映射到超向量，然后由超維代數(shù)接管。“類比推理之類的東西應(yīng)該自然而然，”Olshausen說，“這是我們對任何人工智能系統(tǒng)的期望。我們應(yīng)該能夠像理解飛機(jī)或電視機(jī)一樣理解它。”
與傳統(tǒng)計算相比，超維計算所具有的各種優(yōu)勢都表明其非常適合新一代硬件極可靠且低功耗的要求。它還與“內(nèi)存計算系統(tǒng)”相兼容，后者在存儲數(shù)據(jù)的同一硬件上執(zhí)行計算（不同于現(xiàn)有的馮諾依曼計算機(jī)，后者需要在內(nèi)存和中央處理器之間低效地傳輸數(shù)據(jù)）。這些新設(shè)備中的一些可以找到替代策略，如在非常低的電壓下運(yùn)行，從而使其節(jié)能，但這也容易產(chǎn)生隨機(jī)噪聲。對于馮諾依曼結(jié)構(gòu)，這種隨機(jī)性是“無法逾越的墻，”Olshausen指出，但如果使用超維計算，“就可以直接穿透這堵墻”。
盡管有上述優(yōu)勢，超維計算仍處于起步階段。“這是真正有潛力的研究方向。”Fermüller回應(yīng)說。但她同時指出，超維計算仍然需要針對現(xiàn)實世界的問題進(jìn)行測試，并需要在更大范圍，更接近現(xiàn)代神經(jīng)網(wǎng)絡(luò)的規(guī)模下進(jìn)行測試。
“對于大規(guī)模問題而言，亟需非常高效的硬件。”Rahimi指出，“例如，對于超過10億個項目，如何才能有效地搜索？”
Kanerva則表示，所有這些都將隨著時間的推移而到來。“高維空間還有其他秘密，而我認(rèn)為這正是使用向量計算時代的開端。”
