Cohere聯(lián)合創(chuàng)始人艾丹戈麥斯（Aidan Gomez）（圖片來源：多倫多大學）
艾丹戈麥斯（Aidan Gomez）是一位著名的AI研究者，也是Cohere的聯(lián)合創(chuàng)始人。他是少數(shù)在Google Brain工作時創(chuàng)造Transformer算法的研究者之一。此次交流中，他談到了自己的經歷以及他的初創(chuàng)公司Cohere，該公司以他早些時候的工作為基矗
戈麥斯在加拿大長大，后來他去了多倫多大學學習。在那里，他在大二的時候發(fā)現(xiàn)了人工智能，并開始狂熱地閱讀有關該主題的學術論文，是一名機器學習研究員和數(shù)學迷。
“我變得癡迷，我就是日夜不停地閱讀論文，”他回憶說。“我會帶著一篇研究論文入睡。”
他在文獻中一直看到一個名字杰夫辛頓（Geoffrey Hinton）他的附屬機構也是多倫多大學，盡管辛頓早已停止教學。戈麥斯通過電子郵件與他聯(lián)系，向辛頓提出一個小技術問題。令他驚訝的是，辛頓回應了他，這位世界上最著名的AI研究者向一個當時還是匿名的本科生解釋了一個普通的問題。
在他的本科學習期間，戈麥斯前往科技創(chuàng)新的中心硅谷那里他成為了著名的Google Brain團隊的一名實習生。在那里，他與領域內一些最聰明的人合作，包括在開發(fā)谷歌TensorFlow模型框架中發(fā)揮了重要作用的Lukasz Kaiser。
“Kaiser想把機器學習研究者們編譯的每一個數(shù)據集都放入一個模型中，使其在輸入和輸出方面都完全Multi-model（多模態(tài)）。”戈麥斯說。
為了支持這個項目，戈麥斯幫助建立了一個名為Tensor2Tensor的軟件基礎設施，該設施可以在成千上萬的GPU之間分配計算任務。他說，這主要集中于自回歸模型，特別是基于注意力的模型。“我們聽說Google翻譯的一個團隊也對基于注意力的自回歸模型感興趣，Lukasz說服他們過來，并在Tensor2Tensor上構建它。”
接下來的10周，我們一直在趕制這個模型。“由于我們得到的結果非常出色，所以壓力只是越來越大，”戈麥斯回憶道。“這是早期非常成功、可以大規(guī)模擴展的架構之一，我們的大規(guī)模GPU集群帶來了極高的性能。”
“沒人在睡覺；我每天工作14個小時編碼，建設這個基礎設施，使它更為健壯，運行實驗，這就是我們得到變壓器算法的方式。”
現(xiàn)在，Transformer算法只有大約20行代碼�；緦邮且粋�多層感知器（MLP），Transformer實際上只是一些堆疊在一起的MLP和一個注意力層。在Transformer之前，有這些非常復雜的LSTM架構，沒有統(tǒng)一的架構。有了Transformer，所有這些都被拆除，留下的是簡單的、表現(xiàn)良好的、可擴展的“內核”東西。
Transformer算法為先進的自然語言處理打開了大門，使機器能夠理解和生成類似人類的語言。OpenAI的首席科學家Ilya Sutskever立即利用它建立了第一個生成預訓練Transformer模型GPT，現(xiàn)在已經發(fā)展到第四代GPT-4。Transformer引領了正在改變世界的生成AI革命。
戈麥斯接著共同創(chuàng)立了一家公司，Cohere，目的是使人們能夠接觸到這種變革性的算法和圍繞它構建的大型語言模型。Cohere致力于使LLM（大型語言模型）盡可能地實用和有用，以滿足不同的垂直任務和行業(yè)的需要。
戈麥斯大部分時間都沒有參與關于生成式AI（AIGC）對人類的威脅的辯論。但考慮到AI近期的顯著進步，戈麥斯表示，越來越難以否認機器獲得感知能力的想法。
隨著AI感知潛力的展現(xiàn)，戈麥斯強調了負責任開發(fā)和倫理考慮的重要性。他呼吁AI社區(qū)以保護人類價值、隱私和社會福祉的承諾來面對進步。他相信，通過培養(yǎng)對AI開發(fā)的深思熟慮和透明的方法，我們可以減少風險，最大化它所提供的好處。（本文首發(fā)鈦媒體App）
