劃重點：
1“我們就是AI的萊特兄弟。”謝諾夫斯基認為，我們剛剛起飛，不知道如何控制這架飛機，我們需要弄清楚如何控制它，這將是未來10年的方向。
2謝諾夫斯基說，唯一我們絕對確定的是，這些大語言模型不是人類，而是外星人。
3謝諾夫斯基認為，大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來，如人類的情感、長期記憶。將情感注入其中，比注入語言更容易。
4謝諾夫斯基判斷，未來，“每家公司都會建立自己的模型”。
5謝諾夫斯基認為，我們正在進入人類歷史上全新的時代。我們站在這個門檻前，正在穿過這扇門，以后再也不會一樣了。永遠都不會。“一切都將在你的有生之年發(fā)生轉變。”
特倫斯謝諾夫斯基（Terrence Sejnowski）
科技新聞《潛望》 張小 發(fā)自北京
特倫斯謝諾夫斯基（Terrence Sejnowski）是杰弗里辛頓（Geoffrey Hinton）之外，另一位深度學習奠基人、先驅人物。最近，他倆私下交流了許多次關于AI威脅論的看法。
38年前，兩人齊心合作，研發(fā)了玻爾茲曼機（Boltzmann Machines），這是一種用于模式識別的神經網絡。上世紀80年代，在深度學習經歷了漫長的寒潮與黯淡后，它的出現(xiàn)為極少數(shù)相信“連接主義”、“神經網絡”和“深度學習”的研究人員，帶來了一絲曙光。
“我們就是AI的萊特兄弟。”謝諾夫斯基說。
辛頓與謝諾夫斯基都出生于1947年。辛頓出生于加拿大，專長是人工智能和心理學；而謝諾夫斯基出生于美國，更擅長物理學和神經科學。兩人有一個共同的內心力量：對大腦充滿興趣。
“我們有同樣的直覺，”謝諾夫斯基說，“這個直覺是，視覺、語音識別、語言問題等都是極其困難的問題，必須解決；而唯一證明這些問題可以解決的存在就是，大自然已經解決了這些問題。為什么不深入研究一下？”
在很長一段時間里，深度學習都不是人工智能的主流學派。彼時的統(tǒng)治者是MIT人工智能實驗室的馬文明斯基（Marvin Minsky），他曾尖銳指出深度學習的重大缺陷，并圍繞自己對人工智能的見解構建了一套體系。絕大部分科學家都是他的追隨者，信奉“符號主義”。
這是勢力懸殊的兩個學派。“符號主義”是一種基于邏輯推理和編程規(guī)則的學派，將人類思維視為通過符號和語言進行推理的過程，就像人類使用字母和單詞構建句子來表達思想；而“連接主義”則更像是逆向工程大腦，通過模擬神經元之間的連接和權重調整來處理信息。
后來，辛頓成為AI教父級人物、深度學習之父，以4400萬美金將自己的公司賣給Google后出任Google科學家，而他的學生IIya Sutskever參與創(chuàng)立了如今炙手可熱的OpenAI。
謝諾夫斯基則是美國四院（國家科學院、國家醫(yī)學院、國家工程院、國家藝術與科學學院）院士，也是全美在世僅三位的四院院士之一，他有一檔知名的慕課《學習如何學習》（Learning How To Learn），并出版了一本全球銷量超300萬的書籍《深度學習》（The Deep Learning Revolution）。
二人維持了一生的友誼。
左：特倫斯謝諾夫斯基 / 右：杰弗里辛頓
近期，辛頓驟然從Google辭職，公開呼吁AI的可能性危險。他表示，過去幾個月讓他改變了對人類大腦與數(shù)字智能的看法。“毛毛蟲提取養(yǎng)分，轉化為蝴蝶。人們已經提取了數(shù)十億認知的精華，GPT-4就是人類的蝴蝶。”以此暗示數(shù)字智能可能是比大腦更智慧的智能體。
而謝諾夫斯基對此表現(xiàn)得更樂觀一些。
“我很高興杰弗里有所擔心，因為至少有人在擔心。”今年5月，科技新聞對話了現(xiàn)年76歲的特倫斯謝諾夫斯基，他再三拿萊特兄弟發(fā)明飛機類比，認為如今正處在這樣的時刻。“我們剛剛起飛，不知道如何控制這架飛機，我們需要弄清楚如何控制它。這將是未來10年的方向。”
對話中，他談到神秘莫測的大腦、AI派系對決頗有沖擊力的一幕、人工智能的潛在危險，以及大語言模型的未來演進方向等話題。他認為，大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來，如人類的情感、長期記憶。
他判斷，未來，“每家公司都會建立自己的模型”。
我們就站在人類歷史一個全新的起點上，謝諾夫斯基感嘆道：“我們正在穿過這扇門，以后再也不會一樣了。”
以下是對謝諾夫斯基的訪談，略有刪減。
01 談大腦--它比任何人類創(chuàng)建的神經網絡模型更強大
科技新聞：你好，謝諾夫斯基先生。我這樣稱呼你對嗎？Mr. Sejnowski。
謝諾夫斯基：你可以直接稱我為Terry。
科技新聞：好的，Terry。你是什么時候決心要成為一名科學家，尤其是什么時候想要成為一名神經網絡、深度學習和人工智能方向科學家的？
謝諾夫斯基：我對大腦一直抱有濃厚的興趣和好奇。在本科和研究生階段，我主修物理，因為我認為在所有科學領域，物理學的理論力量最具挑戰(zhàn)性。大腦高度復雜，物理工具對訓練很有幫助。
在深入研究前，我意識到若是真想了解大腦，必須了解關于神經科學的知識，即大腦的生物基矗我旋即轉向神經科學，在哈佛大學醫(yī)學院神經生物學系進行了博士后研究。在那兒，我認識到要理解大腦，不能僅僅將其視為物理或生物問題，因為大腦具有學習和思考的能力，這是計算的用武之地。
我創(chuàng)立了一個名為“計算神經科學”的領域，最近榮獲神經科學領域的格魯伯獎（The Gruber Prize）�，F(xiàn)在這個學派發(fā)展迅速。
這個話題與我們今天要討論的內容相關，我們發(fā)現(xiàn)大型語言模型和人腦之間存在許多相似和差異之處。我們可以進行許多有價值的討論。
科技新聞：在你漫長的科研生涯中，一個閃耀瞬間便是與杰弗里辛頓教授一起研發(fā)了玻爾茲曼機，你當時有意識到這個機器會成為人工智能教科書上重要的一筆嗎？
謝諾夫斯基：那是我生命中最激動人心的時刻之一。和杰弗里一起工作，是令人興奮的機會。杰弗里有強烈的計算直覺，我們在背景上補充而契合。他的背景是人工智能和心理學，我的則是物理學和神經科學，我們完美地融合在一起，保持著持久的友誼。
正如你所指出，玻爾茲曼機具有里程碑意義。它證明了馬文明斯基和西摩爾帕普特（Seymour Papert）是錯誤的。明斯基和帕普特在1969年關于《感知器》（Perceptrons: An Introduction to Computational Geometry）的著名書籍中對感知器的局限性提出了很好的證明，他們的觀點是沒有人能將感知器的學習規(guī)則推廣到具有多層和多個隱藏層的多層感知器。但杰弗里和我發(fā)現(xiàn)，如果擴展架構，我們就可以展示出一種優(yōu)雅的學習算法。
這個算法和架構之所以美妙，是因為它非常優(yōu)雅。它受到了我背景中物理學啟發(fā)，我很喜歡它。它就像是一個熱力學證明，證明我們有一個學習算法。但與反向傳播（Backpropagation）不同的是，它是全局的。你不需要通過反向傳播計算誤差，你只需要計算輸入和輸出在兩種不同條件下的相關性。一種是當輸入存在，另一種是當輸入消失。我們稱之為“休眠階段”。所以當你計算相關性減弱，對于小型網絡很有效，它需要達到平衡，你必須計算平均相關性。它需要更多的計算，所以實際上效率不高。
科技新聞：相比更早的神經網絡之一感知機（Perceptrons），玻爾茲曼機在哪些方面使深度學習變得更好了？依舊不足的是什么？
謝諾夫斯基：玻爾茲曼機的美妙之處首先體現(xiàn)在它可以容納許多隱藏層，就像深度學習可以使用隱藏層一樣。從80年代開始，它就已經是深度學習網絡了。只是當時我們并沒這樣稱呼它，但你可以構建更深層次的結構。
另一個值得注意的是，玻爾茲曼機既可用于監(jiān)督學習，當然大部分工作是使用反向傳播完成，也可以用于無監(jiān)督學習。它能學習概率分布，不僅僅是學習將輸入進行分類的映射關系，還能在高維空間中發(fā)展出內部的概率分布。
局限性嘛，就像我之前說的，它需要更多計算資源，計算成本高。而且，當你有多個隱藏層時，隨著層數(shù)增加，它需要更長時間才能在輸入向上傳遞并回傳到底層。整個網絡必須成為一個單一協(xié)調的整體。這在物理學中被稱為相干性（Coherence）。就像在接近臨界點時，比如水和蒸汽之間的相變（Phase Transition，指一種相態(tài)朝另外一種相態(tài)轉變的過程），有一些特殊現(xiàn)象發(fā)生，整個系統(tǒng)變得相干。我們發(fā)現(xiàn)玻爾茲曼機必須實現(xiàn)全局的相干性。
這個算法非常有潛力，杰弗里花了很多精力來展示它可以逐層構建。它仍然是一個可行的算法，只是需要更多計算資源支持。
科技新聞：那些年，很少有人相信神經網絡和基于神經網絡的深度學習對于人工智能真正可行，認為這不過是自負者的玩笑。當杰弗里辛頓第一次找到你提出合作意愿時，他是怎么對你說的？你為什么選擇相信他？
謝諾夫斯基：1979年，我們在圣地亞哥的一個小研討會上結識。當時，并沒有像你描述的那樣引起太多關注。實際上，幾乎沒人注意我們。
換句話說，在全球范圍，關注這個領域的人非常少。那次會議上，只有十幾個人。我們是研究人員，從事與其他人不同的研究。我們很高興能一起工作，因為我們有同樣的直覺。這個直覺是，視覺、語音識別、語言問題等都是極其困難的問題，必須解決，而唯一證明這些問題可以解決的存在就是，大自然已經解決了這些問題。因此，我們的觀點是，為什么不深入研究一下？讓我們看看自然為我們做了什么，并嘗試逆向工程大腦。
當你這樣做時，你不想復制大腦的技術，因為它在能源使用和規(guī)模方面比我們先進得多。即使是今天的神經網絡也無法接近大腦的一小部分。
但是，你可以從大腦中獲取一些通用原則。我們試圖提取這些原則，來創(chuàng)建人工大腦版本。
當時人工智能領域缺乏的最重要的原則是，你可以學習權重，可以通過示例來學習解決問題。這確實是大腦適應世界的一種重要方式。大腦可以學習語言、運動、物理和社交技巧。換句話說，這些都不是像編寫計算機程序一樣在你內部編程的東西。
大腦中的天生部分是體系結構和突觸可塑性的機制，這些允許大腦在出生時具有接近成年所需的連接的生物機制，然后通過學習優(yōu)化這些連接。這些就是原則：大規(guī)模的連接，許多單元之間的連接，并有學習算法。
盡管我們在80年代使用的學習算法如今仍在使用，但之后發(fā)生的是，由于摩爾定律的發(fā)展，神經網絡的規(guī)模以驚人速度擴大，無論是單元的數(shù)量還是參數(shù)的數(shù)量，現(xiàn)在已達到萬億級別，與大腦相比仍然非常小，因為大腦大約有10的14次方、10的15次方和10的12次方的連接，仍然多出約一千倍的連接和參數(shù)。
科技新聞：人類的大腦給你們的研究工作帶來了哪些靈感？你曾經說：“我們確信我們已經弄清楚了大腦是如何工作的。”那么，人類的大腦是如何工作的？
謝諾夫斯基：我不想給你一種我們已經理解了大腦如何工作的印象。它仍然是一個巨大的謎團。我們對大腦了解甚少。這就是為什么我從事神經科學，大腦比任何人類創(chuàng)建的神經網絡模型更強大。
在我寫作的《深度學習》一書中，我有一個完整章節(jié)展示了卷積網絡（ConvNet）的架構。卷積網絡是2012年在NIPS會議（神經信息處理系統(tǒng)大會，是一個關于機器學習和計算神經科學的國際會議）上取得重大突破的一種網絡，杰弗里展示了通過這種網絡可以將圖像數(shù)據集上的錯誤率降低20%，這相當于向未來前進了20年。
所以，如果你看一下卷積神經網絡，它的架構在信號經過不同層的方式上，與靈長類動物視覺系統(tǒng)的架構相似。在視覺輸入中，存在一種卷積架構進行預處理，還有許多其他機制，如歸一化、分組等等，這些機制在視覺皮層中都存在，視覺皮層大約有12層，按順序處理信息。這是一個卷積神經網絡受到視覺架構啟發(fā)的案例。
現(xiàn)在正發(fā)生的是，很多關于轉換器（Transformer）的發(fā)現(xiàn)，例如用于自然語言處理的轉換器以及從分析這些網絡中出現(xiàn)的循環(huán)網絡等其他架構，幫助我們理解它們的工作原理，并為分析神經數(shù)據提供了工具、技術和方法。
因此，與上個世紀相比，AI和神經科學之間的合作進展非�？�。以前的研究進展緩慢、痛苦而復雜，記錄一個神經元的活動很困難。但現(xiàn)在我們有了同時記錄數(shù)十萬個神經元的工具和技術，這讓我們能更全面地了解不同神經元如何協(xié)調工作。
令人興奮的是，現(xiàn)在工程師和神經科學家之間的交流，正在加速我們對大腦如何工作以及如何改進人工智能的理解。
02 談派系對決--質問明斯基：你是魔鬼嗎？
科技新聞：人工智能領域一直存在深度學習的反對派，也就是所謂AI建制派（比如馬文明斯基），他們是怎么想的？今天來看，你們這些相信“連接主義”、“深度學習”、“神經網絡”的少數(shù)者學派，相比相信“符號主義”的大部分AI建制派，底層對于世界認知的最大不同是什么？
謝諾夫斯基：20世紀，計算機的性能有限，它們只能有效地處理邏輯問題。因此，人工智能是基于編寫包含符號并操作符號的邏輯規(guī)則的�；仡櫰饋�，那些編寫規(guī)則并嘗試解決困難問題的程序員們，錯誤之處在于沒有真正意識到自然界解決這些問題有多困難。
視覺是復雜和困難的，大腦細胞處理它們如此高效，以至于感覺起來就像很容易的事。你看出去，就能看到物體，這有什么困難呢？
這里有一個DARPA撥款的真實故事。DARPA是美國的國防高級研究項目管理局，是軍方的研究部門。20世紀60年代，麻省理工學院的人工智能實驗室獲得了一大筆撥款，用來建造能打乒乓球的機器人。他們獲得了這筆撥款，但后來意識到他們忘記申請資金來編寫視覺程序。于是，他們索性將這個項目分配給研究生作為暑期項目，因為它看上去似乎很容易。（這不可思議）
2006年，達特茅斯召開了人工智能大會50周年紀念會議，我見到了明斯基。我問他這個故事是不是真的。我聽說過這個故事，但感覺有點夸張色彩。
結果他反駁道，你得知的事實是錯的，“我們沒有把它交給研究生，而是分配給了本科生”。這個看上去容易解決的問題，最終被證明是“陷阱”，吞噬了整整一代計算機視覺研究人員的青春。
回顧起來，他們是盡力而為，根據當時的計算機條件做到最好。但問題是，隨著問題變得越來越復雜，如果你試圖通過編寫計算機程序來解決它，程序會變得越來越龐大，這需要極大的人力投入。編寫程序異常昂貴，無論是付給程序員的成本，還是程序行數(shù)達到數(shù)百萬行時的成本，都會讓你覺得它無法擴展。
這就是當時人工智能面臨的問題：無法擴展。即使你給了他們數(shù)十億美元，并讓他們編寫數(shù)十億行的計算機程序，他們仍然無法解決問題。解決方案如此笨重。
他們當時并不知道。實際上，我們只需要一個隱藏層的小型網絡，就可以證明我們能解決感知機無法解決的問題。但我們不知道的是，當你擁有10個隱藏層時會發(fā)生什么。我們不知道，因為我們無法模擬這個過程，它太復雜，計算量太大。
終于，在等待了30年后，現(xiàn)在我們知道了。計算機的速度提高了數(shù)百萬倍，現(xiàn)在我們可以開始解決現(xiàn)實世界的問題了。
現(xiàn)在人們認為我們是對的，但當時人們認為這可能是死胡同。因為在80年代和90年代，它無法解決困難的問題。然而，我們不在乎。我們只是愉快地繼續(xù)前進，看看我們能走多遠。
另外一個問題是，那時我們概念框架中真正缺失的是對世界復雜性的低估。世界是一個高維的地方，信息量驚人。
以視覺為例，你有一個百萬像素的相機，而你的視網膜有1億像素，這是極為豐富的信息。信息以火箭噴射的速度涌入。如果你降低維度，就會丟失信息。你無法壓縮它，它是不可逆的。符號的美妙之處在于，你可以將一個復雜的物體的單詞壓縮成一個符號。比如，杯子是一個符號，你可以寫下這個小小的符號，它代表的不僅僅是這個杯子，而是所有杯子。這非常強大。但問題是，如果你要識別一個杯子的圖像，這并沒有幫助，因為杯子有各種形狀和尺寸。你可以從不同角度看到它們。這是高維問題。世界是高維的。
直到我們能將網絡擴展到擁有數(shù)萬億個參數(shù)的規(guī)模，我們才能開始將世界的復雜性融入網絡中，使其能識別物體、識別語音，現(xiàn)在甚至是自然語言。它不僅能夠識別，還能夠生成。就像一個循環(huán)。
這真的令人興奮和有趣。記得我剛才談到的相變嗎？我們從一個狀態(tài)轉變到另一個狀態(tài)。你從液體變?yōu)檎羝�，或者你將高溫下未磁化的鐵降溫，它會變成磁鐵。
網絡在不斷變大的過程中也存在相變。換句話說，在某個點之前，你無法在物體識別和圖像上取得多大進展，性能非常差。但一旦網絡達到一定規(guī)模，隨著它的變大，性能會越來越好。
解決語言問題也經歷了另一個相變，需要更大的網絡，依此類推。我們正在發(fā)現(xiàn)的是，隨著網絡變得越來越大，它們能夠做更加復雜的事情，并且表現(xiàn)得越來越聰明。這又是一個意料之外的發(fā)現(xiàn)，你需要一定的復雜度。
這就是我們取得巨大進步的原因：我們能擴展計算能力。現(xiàn)在人們正構建專用硬件，以進一步擴展規(guī)模。它會不斷發(fā)展。這只是個開始。
就像萊特兄弟，他們是最早進行人類飛行的人。當時有一個類比，人們認為如果你想造飛機，從觀察鳥類是學不到任何東西的，因為它們的翅膀不同。大衛(wèi)麥卡洛（David McCullough）寫了一本萊特兄弟的傳記，非常精彩。他們花了很多時間觀察鳥，不是觀察鳥拍打翅膀的時候，而是它們滑翔的時候。
自然是解決復雜問題的無窮思想源泉。我們只需要成為一個善于觀察的人，看到并理解透過細節(jié)看到的自然所使用的原則。那時的我、杰弗里和其他人都試圖在全新的大規(guī)模的架構中看到這一點。
現(xiàn)在我們退后一步，談談計算機。直到最近，唯一的選擇是馮諾依曼體系結構（也稱普林斯頓結構，是一種將程序指令存儲器和數(shù)據存儲器合并在一起的存儲器結構），其中有一個處理器、一個內存和一堆編程指令。這種架構強大，因為你可以通過這種方式解決復雜問題，進行算術運算，處理大量數(shù)據，并進行排序和搜索。毫無疑問，我們取得了巨大的進步，因為這些計算機使我們能模擬其他架構。
然而，并行架構如果使用程序是非常難組織的�，F(xiàn)在的超級計算機都是并行的，擁有數(shù)十萬個核心，協(xié)調所有這些核心非常困難。我剛剛訪問過德克薩斯州的一個超級計算機中心，他們說困難在于光速并非無限。光速大約是每納秒1英尺。當然，納秒是千兆赫茲。因此，核心之間的電線變得至關重要。
自然界也面臨同樣的問題。神經元之間存在時間延遲，而自然界已經解決了這個問題。這正是我目前正在研究的問題：自然是如何解決這個問題的？當我們構建大規(guī)模并行架構并繼續(xù)擴大規(guī)模時，我們能否考慮這一點。從自然界中，我們還有很多東西要學。
科技新聞：我看到一本書中記錄，你曾經當面質問明斯基：“你是魔鬼嗎？”（Are you the devil?）你真的對他說過那句話嗎？
謝諾夫斯基：他是個非常聰明的人，聰明的人也會犯錯誤。我不怪他。
當他做出決定朝某個方向發(fā)展時，那是當時可行的選擇，他盡力而為。但是，不幸的是，很多神經網絡領域的人因為他的書（《感知器》），還有他的影響力……你知道，他在籌集資金方面非常有權勢，他是麻省理工學院人工智能實驗室的負責人，也是該實驗室的創(chuàng)始人。他的學生都去了斯坦福大學、卡內基梅隆大學等知名大學找到了很好的工作。因此，他圍繞自己對人工智能的愿景創(chuàng)建了一個完整的領域。
我參加了那次50周年紀念會。對我來說很明顯的現(xiàn)象是，每個取得進展的人之所以取得進展，不是因為老式的編寫程序，而是因為他們利用了大型數(shù)據集，無論是在視覺還是語言方面。比如，解析句子。
明斯基的一名學生說他無法使用符號處理進行解析，但當他擁有了一個大規(guī)模的解析句子語料庫后，他就能夠分析單詞的統(tǒng)計數(shù)據，以及出現(xiàn)在成對和成組的常用單詞。沒想到，明斯基站起來說：“你真丟人。你失敗了，因為你在做應用程序。你不是在研究通用人工智能（AGI）。”
我當時坐在聽眾席上。我認為他心胸狹窄，我為他的學生感到遺憾。這家伙，我愿意說他是一個先驅，但他在阻礙我們前進。所有學生都想往前走，我們正致力于這些應用，這是一個很好的方式，因為你能理解這些問題的復雜性。
我很憤怒。最后每個人，包括明斯基，發(fā)表了一個關于他們對會議看法的簡短演講。有觀眾提問環(huán)節(jié)。
我舉手發(fā)問。
我當著眾人的面問道：“明斯基博士，有一些神經網絡界的人認為你是魔鬼，因為你阻礙了幾十年的進展。你是魔鬼嗎？”
我不得不說，我通常不是那樣的人。我是相當溫和的人，我不經常像那樣直接面對某個人，但我真的覺得他必須被揭露出來。我生氣并不是因為他說了什么，而是他對待學生的方式。你的學生就像你的家人。而這正是他所做的，虐待他的學生。我不喜歡那樣。無論原因如何，我問了他這個問題：“你是魔鬼嗎？”
他明顯感到不悅。我就像突然間按動了他的按鈕，他滔滔不絕地說起各種事情，一直不停地說。
最后我制止了他。我說：“明斯基，我問了你一個是或否的問題。你是魔鬼還是不是？”（I asked you a yes/ no question. Are you or are you not the devil?）
他結結巴巴地說了一些廢話，然后停下來。他說：“是的，我是魔鬼。”（語氣激動，突然咆哮著說：Yes, I'm the devil.）
我不得不說，這對他不公平，但事實是他就是魔鬼。
觀眾對這場對決感到震驚。有幾個人事后找到我向我表達感謝，他們說這是每個人都在想的事，對他的行為感到悲傷。
但不管怎樣，這些都已經是歷史了。
總之，這不是他一個人的問題。整個領域都圍繞著一個不起作用的范式被禁錮了。整個領域經歷了興衰起伏，但這反映出它在取得進展。有時候取得了一點進展，看起來很有希望，于是就出現(xiàn)一個興盛；當你意識到它實際上沒有解決所有問題，就會有一個衰退。
順便說一下，這對于所有科學和工程領域都是真實存在的，是不斷重復的過程。沒有例外。在短暫的時期內，你通過一個新理論或新范式取得進展，看看能達到什么程度。當達到極限時，你必須等待下一個突破。這是自然的。每個科學領域都一遍又一遍地經歷同樣的過程。那是事物的本質。
03 談ChatGPT和大模型--它不是人類，是外星人
科技新聞：今天AI的爆發(fā)，是否超出了你最樂觀的預期？以ChatGPT為代表的大語言模型的出現(xiàn)，是否帶來了深度學習的新范式？
謝諾夫斯基：是的，絕對是在許多關鍵方面。你已經提到了其中一個關鍵點，那就是大多數(shù)神經網絡都不是生成型的，它們只是單純的前饋分類網絡。唯一的例外是生成對抗網絡（GAN），它在生成能力方面非常有趣，比如給它一些面部圖像，它可以生成新的面部圖像。這就是一個生成型網絡的例子，但它是由兩個網絡組成的。一個網絡用于生成，另一個網絡用于選擇，即判斷生成的圖像是真實的還是生成的。它們之間就像是兩個網絡的對抗，在生成和判斷方面變得越來越好。
現(xiàn)在，我認為這些生成模型的真正突破在于它們使用了自我監(jiān)督，而不是標記數(shù)據。處理對象時，你需要給數(shù)據打標簽，這就是有監(jiān)督學習，但這樣做非常耗費資源，因為你需要人工進行標注，以獲得準確的數(shù)據。而通過自我監(jiān)督，你可以直接使用數(shù)據本身，它實際上是一種無監(jiān)督學習，因為沒有任何標簽。美妙之處在于，你只需要訓練它預測下一個單詞或句子。因此，你可以給它提供來自各個領域的句子，這就提供了更多訓練數(shù)據。如果訓練數(shù)據是無窮的，就不再有約束了。
以前是，隨著網絡越來越大，你需要更多數(shù)據。而這限制了網絡的規(guī)模。如果你有一個小數(shù)據集，你只能使用小型網絡。但現(xiàn)在沒有限制了，人們可以不斷擴大網絡規(guī)模，我們將看到它能走多遠。
這真的改變了一切，開始出現(xiàn)一些意想不到的事，我從未預料到。
讓我驚訝的是，它們能用英語對話。我知道它們也可以用其他語言，但你知道，它們所說的英語是完美的。它們不會像大多數(shù)人一樣犯語法錯誤。當我說話時，我會犯各種各樣的語法錯誤。我們都會犯，因為我們不完美。但它們怎么能在語法上做得那么好呢？沒有人真正知道。這是一個深奧的謎題。
這也是對諾姆喬姆斯基（Noam Chomsky，美國語言學家、哲學家，被譽為現(xiàn)代語言學之父）的反例，他聲稱你唯一能創(chuàng)造出使用語法機器的方法是使用他的理論。是的，他是語法天才，但這從未奏效過。計算語言學的整個領域都嘗試過，但沒有成功。他的理論行不通。
科技新聞：ChatGPT為什么這么聰明？
謝諾夫斯基：我告訴你吧，這個問題引發(fā)了一場很大的爭議，非常大。知識分子們喜歡互相爭論，而當前的大辯題就是這個，它激起了各種觀點之間的差異。
一部分認為這些大型語言模型并不理解它們所說的內容。它們不像我們一樣能理解，也不具備智能。這些人會使用侮辱性的詞匯，比如說它們是隨機的鸚鵡（stochastic parrots）事實上，鸚鵡很聰明，將它們與鸚鵡比較，這是對它們的贊揚。
另一部分人認為，哦天哪，它們不僅僅是聰明，而是比我更聰明，因為它們知道的東西太多了。它們擁有我所沒有的知識基矗
還有人認為，它們不僅聰明，而且有感知能力。也就是說，它們可以像人類一樣思考，擁有人類的心智。這是兩個極端，中間有各種觀點。
這是非常罕見的情況。一個突然出現(xiàn)在我們面前的東西，我們對它絲毫摸不著頭腦，就像外星人突然從地球外的某個地方出現(xiàn)，并開始用英語和我們交談一樣。
你明白我的意思嗎？這就是現(xiàn)在正在發(fā)生的。唯一我們絕對確定的是，它不是人類，而是外星人。那它到底是什么？我們創(chuàng)造了某種看起來具備智能特征的東西，它確實了解很多事，但它也存在一些問題。
首先，它會編造事情。他們稱之為幻覺。有時它給出一些看似合理的事物，但實際上它們是虛構的。
另一個問題是，由于它展現(xiàn)了如此多不同的觀點，包括你不同意的人的觀點，它有時會說一些冒犯你的話。人類也會說一些冒犯我的話，對吧？哦，也許這是在模仿我們。
我有一篇論文提出了鏡像假設，它是在模仿我們，就像人類在與ChatGPT交談時，不僅僅是問它一個問題，而是以一種參與的方式進行交流。比如，《紐約時報》的凱文魯斯（Kevin Roose）和ChatGPT進行了兩個小時交談，這令人震驚。這種互動對他來說是情感上的，因為它實際在模仿他，以某種方式反映出自己的需求、思維和腦海中的東西。
你不能責怪GPT-3，它們沒有父母，沒有人幫它們經歷強化學習的過程。這個過程是大腦中負責強化學習的部分，位于皮層以下，被稱為基底神經節(jié)。這是大腦學習行動序列以達到目標的部分。而這一部分需要來自世界的反饋，了解什么是好的，什么是壞的。這種強化學習系統(tǒng)是Alphago程序的核心部分之一。
Alphago有兩部分。它有一個深度學習網絡，用于棋盤和位置的模式識別，還有一個強化學習引擎，為所有位置分配價值。所以它們是需要這兩個方面的。而這些大型語言模型則沒有價值函數(shù)，這是其中缺失的一部分。
實際上，這是其中一個特點，我們可以觀察大腦，思考大腦是如何克服這些問題的。大腦擁有這個龐大的基底神經節(jié)。而且，這對于通過實踐學習如何做事情也很重要，比如演奏小提琴或運動。我們出生時并不具備協(xié)調能力。嬰兒需要很長時間來學習，他們將東西放入嘴巴，敲擊東西，但最終他們能站起來走路，抓住物品，并四處奔跑和做事情。但要在某項運動上表現(xiàn)出色，需要專門的練習，你必須玩很多次，越玩越好。
這是大腦中絕對必要的一部分，而這些大型語言模型卻缺失了這一點。真是可憐。
04 談AI威脅論--我和辛頓是AI界的萊特兄弟
科技新聞：一些人現(xiàn)在感覺害怕，他們認為我們可能創(chuàng)造了一個怪物。包括辛頓看上去也有些擔憂。你如何看待辛頓決定辭去Google的職務？他甚至對自己一生在AI方面的工作表示了一些遺憾。
謝諾夫斯基：我非常了解杰弗里。我們就這個問題進行了很多討論。重要的是我們要考慮最壞的情況。
當新技術突然被發(fā)現(xiàn)、創(chuàng)造出來時，它可以被用于好的和壞的方面，會有人將其用于社會的善意，也會有人將其用于不良目的。最壞的情況是什么？如果壞人使用它，他們能對我們的文明造成真正的傷害嗎？我們需要認真考慮這點。如果我們不這樣做，我們將陷入麻煩之中。
預防最壞情況的方法首先是理解可能發(fā)生的情況。但我們還沒有達到那個階段。我們真的不知道它會走向何方。沒有人知道。因此，我們必須謹慎行事。
杰弗里是在謹慎行事，他說，讓我們等一等，好嗎？
現(xiàn)在是這樣，你不能不加以管制，就像對待其他所有事物一樣，生活的各個方面、每一項技術都受到管制。例如，你在超市購買食品，你如何確保通過購買食物不會被毒害？我們有食品和藥品管理局（FDA），他們會檢測食物，確保對你沒有害處。規(guī)章制度不斷演變，就像食品不斷演變一樣，所以你必須不斷地進行測試。
科技新聞：那么我們應該做些什么？
謝諾夫斯基：現(xiàn)在很多人都在認真思考這個問題。我是NIPS基金會主席，這個會議在我負責的過去30年里，從最初只有幾百人參加，每年都以驚人速度擴大，如今已形成一個龐大的社區(qū)。社區(qū)會清楚地知道存在的問題、不足之處、公平性問題、可靠性問題和潛在威脅。
最終它們必須受到監(jiān)管。但問題是，如何在不抑制研究的情況下進行監(jiān)管？如果一群人希望暫停，認為我們應該限制網絡規(guī)模，讓任何網絡都不能超過某個規(guī)定的大小，例如擁有一萬億個參數(shù)的GPT-4，這是荒謬的。你限制的應該是能力，而不是大小，就像限制說沒有人應該比6英尺更高一樣，是荒謬的。我們必須制定合理的規(guī)則，允許受控的增長，并在過程中進行測試，以了解是否有新問題出現(xiàn)。
實際上，問題之一是我們不知道AI的潛力有多大。這是我們沒有預先設定的事物，例如計算機編程的能力或寫詩的能力。因此，我們有很多工作要做，必須進行測試和批準。在我們讓它們在社會中自由運行之前，應該有一些批準流程。
總之，我不擔心。我很高興杰弗里有所擔心，因為至少有人在擔心。他非常聰明，他會找出我們是否有需要擔心的事。但我真的認為我們還處于剛剛起步的階段。
我們就是AI的萊特兄弟。我們剛剛起飛，不知道如何控制這架飛機，我們需要弄清楚如何控制它。這將是未來10年的方向。
科技新聞：為什么你和辛頓關于AI威脅問題上持有不同觀點？
謝諾夫斯基：我不否認它們的危險性，顯然存在著危險。問題只是我們該怎么應對呢？
極端觀點是直接關閉它。哦，我們不想要它了，把它放回盒子里。它太危險，我們就不做了。
在上個世紀，物理學家們創(chuàng)造了威力巨大的原子彈，可以摧毀城市。我們有成千上萬個可以摧毀城市的氫彈。你必須對其監(jiān)管。于是，擁有核彈的國家之間達成了一項協(xié)議，我們要確保對正在進行的研究監(jiān)管，以確保沒有人會開發(fā)出某種能摧毀整個世界的新型超級炸彈，并且在超過一定程度前，我們將相互協(xié)商。換句話說，人類有辦法對事物進行調控。
看看互聯(lián)網，你可以想象，如果互聯(lián)網剛出現(xiàn)，有人說，嘿，這里潛在的問題是每個人都會發(fā)布可怕的東西，會造成虛假新聞或各種混亂，我們就停止吧。
沒有人這樣說。想想如果他們決定停止，不讓互聯(lián)網發(fā)展，我們還能享受到多少好處？我生活中有太多依賴于互聯(lián)網的東西了。
05 談AI的情感與終點--一切都將在你的有生之年發(fā)生轉變
科技新聞：目前，深度學習模型需要大量的數(shù)據才能獲得良好的性能。你認為我們如何才能減少對大數(shù)據集的依賴以實現(xiàn)更高效的學習？
謝諾夫斯基：我認為這個問題很重要。
大型語言模型是巨大的，因為有大量數(shù)據存在。但現(xiàn)在有很多人正在構建針對小數(shù)據集的較小模型。因此，可能會有一些小型語言模型，但重點是會有很多特定目的的模型存在。每家公司都會擁有自己特定目的的模型，用于處理自己的數(shù)據集，而無需依賴云端，也不需要其他人監(jiān)聽。現(xiàn)在很多公司禁止在公司使用GPT，畢竟不想泄露商業(yè)機密。
因此，這意味著最終這些模型可能不會很小，但關鍵是現(xiàn)在構建一個模型非常昂貴，需要耗費數(shù)百萬美元的成本和數(shù)月的時間，以及大量的計算資源。但在未來，計算機的價格將會越來越便宜，所以人們可以建立自己的模型。
在未來的10年內，每家公司都將建立自己的模型。這是一個預測。
科技新聞：ChatGPT有感情嗎？
謝諾夫斯基：嗯，它具備替代情感。它閱讀了各種人們表達情感的小說，可以模擬情感。它知道情感是什么，它理解情感。我認為它可以在你與它互動時在你身上引發(fā)情感。這就是我所說的鏡像假設，它會捕捉你的情感。如果你生氣了，它會察覺到并反映給你。
它沒有內在情感。但是，我們對大腦中的情感了解很多，就像我們能通過在基底節(jié)放入修復GPT學習序列等方式一樣，我們也可以加入情感。將情感加入其中會比加入語言更容易。
順便說一句，大腦中還有很多被這些大型語言模型忽略的部分，比如長期記憶。你明天是否記得我們的討論？GPT-3并不記得，GPT-4也不會從一天到另一天記憶連續(xù)。
我們知道負責這一功能的大腦區(qū)域稱為海馬體。那么為什么不模擬海馬體呢？這樣就能獲得長期記憶。
大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來。隨著加入更多這些大腦部分，我們實際上有100個大腦部分專門負責各種亞皮質功能，而現(xiàn)在我們只有皮質部分。它實際上是一個簡化版的人類，就好像我們只有非常高層次的部分，而沒有低層次的感覺運動功能，它沒有任何感知器官，也沒有任何運動輸出。但這是可以實現(xiàn)的。我們有機器人，我們可以給它一個身體，給它攝像頭。而且，這一切都在進行中。我有朋友在從事這方面的工作。所以，這只是更多努力和時間的問題。
科技新聞：什么是深度學習永遠無法做到的？
謝諾夫斯基：這是一個無法知曉的問題。沒有人能夠證明一件無法完成的事情，原因在于它還在不斷演進。即使現(xiàn)在它做不到，也并不意味著下一代不能做到。
就像我說的，這是一個規(guī)模的問題。每一次規(guī)模的增加都帶來了新的能力。所以現(xiàn)在，如果有人確切地告訴你，它不能實現(xiàn)通用人工智能，那么請等待明天。這是不斷變化的。
這一直是人工智能領域的問題，每當你取得一些成就時，人們會說，哦，現(xiàn)在只是模式識別，不是真正的智能。但在某個時刻，你會到達一個程度。
拜托，它將會創(chuàng)造，將會添加所有的能力，將會擁有大腦的所有這些部分，以至于它會擁有我們所謂的通用人工智能。雖然現(xiàn)在還沒有，但沒有任何規(guī)則或法律可以阻止它的實現(xiàn)。
科技新聞：人類只是智能演進的一個過渡階段嗎？
謝諾夫斯基：哦，奇點，人們談論這個，但是現(xiàn)在還為時過早。
這可能是一種情景，但未來總是比任何人想象得更有趣。我從來沒有想象過互聯(lián)網對世界的影響，也無法想象這些大型語言模型將對世界產生的影響�，F(xiàn)在為時過早。
我并不是說我們要盲目前進。我們必須謹慎，必須進行監(jiān)管。如果我們不自己做，政府會替我們做。
我們正在進入人類歷史上全新的時代。我們站在這個門檻前，正在穿過這扇門，以后再也不會一樣了。永遠都不會。
這太驚人了。一切都將在你的有生之年發(fā)生轉變。
