智東西（公眾號：zhidxcom）
編譯｜依婷
編輯｜Panken
智東西11月14日消息，據(jù)外媒The Information報道，一位參與工作的內(nèi)部人士稱，谷歌最近一直在為提升其聊天機器人產(chǎn)品Gemini的性能而努力，該公司希望模型性能提升的速度可以與去年相當，這促使研究人員專注于其他方法來勉強取得效果。
這種情況和OpenAI的遭遇類似。此前有報道稱，OpenAI模型性能提升速度有所放緩，該公司正改變技術策略來解決問題。
回到谷歌本身，上述人士稱，谷歌在投入了大量算力和訓練數(shù)據(jù)，如來自網(wǎng)頁的文本和圖像后，并沒有實現(xiàn)一些高管所期待的性能提升。當研究人員使用更多的數(shù)據(jù)和算力來訓練模型時，過去版本的Gemini大模型改進速度更快。
谷歌的經(jīng)歷是scaling law（縮放定律）受到考驗的另一跡象。許多研究人員認為，只要使用更專業(yè)的AI芯片來處理更多的數(shù)據(jù)，模型就會以相同的速度改進。但目前來看，這兩個因素似乎遠遠不夠。
這個問題成為谷歌的心頭大患。因為在開發(fā)者和客戶數(shù)量方面，Gemini模型落后于OpenAI的GPT模型，而谷歌一直希望它在算力資源方面的優(yōu)勢，可以助力它在模型性能方面超越OpenAI。與此同時，兩家公司都在開發(fā)由現(xiàn)有技術版本提供支持的新產(chǎn)品，這些產(chǎn)品可以幫助軟件程序員和其他辦公人員，在處理繁瑣及復雜工作時，實現(xiàn)自動化。
“我們對在Gemini上看到的進展很滿意，在合適的時機我們會披露更多消息�！惫雀璋l(fā)言人稱，公司正在重新考慮如何處理訓練數(shù)據(jù)并在數(shù)據(jù)上大量投資。這位發(fā)言人說，谷歌還成功地加快了模型的響應速度，這“對于以谷歌的規(guī)模提供AI服務很重要”。
在OpenAI，研究人員發(fā)明了推理模型等新技術，以彌補在模型訓練階段，使用傳統(tǒng)scaling law技術導致的性能提升放緩問題。谷歌似乎也在效仿。最近幾周，DeepMind在其Gemini部門內(nèi)組建了一個團隊，該團隊由首席研究科學家Jack Rae和前Character.AI聯(lián)合創(chuàng)始人Noam Shazeer領導，旨在開發(fā)類似OpenAI推理模型的能力。
開發(fā)Gemini的研究人員也一直專注于對模型進行手動改進。參與這項工作的人說，改進工作包括更改它們的“超參數(shù)（hyperparameters）”，或者是決定模型如何處理信息的變量，比如，模型在訓練數(shù)據(jù)中不同概念或模塊之間建立聯(lián)系的速度。研究人員在稱為“模型調(diào)優(yōu)（model tuning）”的過程中測試不同的超參數(shù)，以檢驗哪些變量會帶來最佳結果。
上述人士說，谷歌在其傳統(tǒng)方法中遇到的一個問題是，它在用于開發(fā)Gemini的數(shù)據(jù)中發(fā)現(xiàn)了相同信息的副本。他們說，這可能損害了Gemini的表現(xiàn)。對此，谷歌發(fā)言人回復稱，此類問題對團隊來說并不新鮮。
另外，該人士還透露，谷歌研究人員曾嘗試使用AI生成的數(shù)據(jù)（也稱為合成數(shù)據(jù)），以及音視頻作為Gemini的訓練數(shù)據(jù)來改進模型性能，但沒有產(chǎn)生顯著效果。
結語：巨頭遇到瓶頸，“AI泡沫”還是AGI？
一周時間，OpenAI和谷歌這兩大AI巨頭接連被爆出模型性能提升緩慢問題，且目前來看兩家公司都沒有找到有效解法，scaling law的有效性受到挑戰(zhàn)。
從公司個體來看，兩巨頭的技術領先地位將面臨極大挑戰(zhàn)；從行業(yè)來看，技術瓶頸長期無解可能會導向悲觀派所說的“AI泡沫”。
世界離AGI還有多遠？還要看這些巨頭公司們多久突破技術瓶頸。
來源：The Information
