多模態(tài)大模型的戰(zhàn)場上，已有人聞到風聲。據(jù)外媒爆料，OpenAI的全新多模態(tài)模型Gobi似乎已在籌備中。谷歌和OpenAI的這場對決，似乎已是箭在弦上了。
隨著今年秋天的臨近，谷歌和OpenAI的多模態(tài)模型之戰(zhàn)，也進入到白熱化階段。
就在上周，谷歌已經對一些外部公司開放了多模態(tài)大模型Gemini的功能。
而OpenAI，當然不會坐以待斃。他們正在爭分奪秒地把多模態(tài)功能整合進GPT-4里，爭取推出功能與Gemini類似的多模態(tài)大模型，一舉擊殺谷歌。
在紙上畫個草圖，拍個照發(fā)給GPT-4，說一聲「給我按照這種布局做個網站」，它立馬就寫出了網頁代碼。
老板Greg Brockman親自上線演示
不過隨后，多模態(tài)仿佛曇花一現(xiàn)，再也沒人見過產品化的實體功能。
所以，谷歌和OpenAI的多模態(tài)大戰(zhàn)，終于要來了嗎？
對戰(zhàn)谷歌，OpenAI搶發(fā)多模態(tài)大模型
面對傳聞中谷歌要擊殺自己的這款大殺器，OpenAI當然不會無動于衷。
據(jù)外媒The Information爆料，一款名為Gobi的全新多模態(tài)大模型，已經在緊鑼密鼓地籌備了。
OpenAI計劃，在Gemini發(fā)布之前就推出多模態(tài)LLM，徹底擊敗谷歌。
OpenAI的Greg Brockman vs 谷歌的Demis Hassabis
其實，在3月份推出GPT-4多模態(tài)功能的預覽后，OpenAI已經向一家名為Be My Eyes的公司推出了這項功能，但并沒有向其他公司提供。
從名字就可以看出來，這家公司在研發(fā)讓盲人或視力不佳人群看得更清楚的技術。
最近，OpenAI打算更廣泛地推出名為GPT-Vision的功能。
OpenAI為什么花了這么長時間？
最主要的原因，是他們擔心新的視覺功能會被不法分子利用，比如通過自動破解驗證碼來冒充人類，或者通過面部識別來追蹤人類。
不過，對于這些法律上的安全風險，OpenAI的工程師們似乎已經解決了。
同樣，一位谷歌發(fā)言人也表示：谷歌已經采取了一些措施，防止Gemini被濫用。
在7月做出的承諾中，谷歌保證會在所有產品中開發(fā)負責任的人工智能。
Gobi能成為GPT-5嗎？
在GPT-Vision之后，OpenAI有可能會推出更強大的多模態(tài)大模型，代號為Gobi。
跟GPT-4不同，Gobi從一開始就是按多模態(tài)模型構建的。
所以，Gobi就是傳說中的GPT-5嗎？
現(xiàn)在，我們還無法知曉。Gobi訓練到哪一步了，也沒有確切消息。
在9月初，DeepMind聯(lián)合創(chuàng)始人、現(xiàn)Inflection AI的CEO Mustafa Suleyman，在采訪時曾放出一枚重磅炸彈據(jù)他猜測，OpenAI正在秘密訓練GPT-5。
Suleyman認為，Sam Altman最近說過他們沒有訓練 GPT-5，可能沒有說實話。（原話是：Come on. I don’t know. I think it’s better that we’re all just straight about it.）
而在這邊，根據(jù)試用過Gemini的人士，Gemini產生的幻覺，會比現(xiàn)有的模型都更少。原因詳見下文。
總之，谷歌和OpenAI的這場多模態(tài)模型大戰(zhàn)，可以說是AI版的iPhone和Android對決。
一個是稱霸AI領域多年的硅谷巨頭，一個是風頭無兩的頂流AI初創(chuàng)公司，二者差距有多大，所有人都在屏息等待。
谷歌秘密測試Gemini
另一邊，谷歌也在開始邀請部分外部開發(fā)者加急測試，即將推出的下一代多模態(tài)大模型Gemini 。
上周，The Information獨家報道稱，Gemini可能很快準備好進行測試發(fā)布，并會集成到像Google Cloud Vertex AI等服務中。
在今年的谷歌I/O開發(fā)者大會上，劈柴曾公開介紹Gemini，是一個多模態(tài)模型、高效集成工具、API。
為了合力干大事，谷歌還將谷歌大腦，與DeepMind實驗室進行了合并。
據(jù)稱，至少有20多位高管參與了Gemini的研發(fā)，DeepMind的創(chuàng)始人Demis Hassabis領導，谷歌創(chuàng)始人Sergey Brin參與研發(fā)。
還有谷歌DeepMind組成的數(shù)百名員工，其中包括前谷歌大腦主管Jeff Dean等等。
一位測試過的人士說，Gemini至少在一個方面比GPT-4有優(yōu)勢：除了網絡上的公開信息外，該模型還利用了大量谷歌消費產品（搜索、Youtube）的專有數(shù)據(jù)。
因此，Gemini在理解用戶對特定查詢的意圖時應該特別準確，而且它產生的錯誤答案，即幻覺，似乎更少。
據(jù)此前SemiAnalysis分析師的爆料，谷歌的下一代大模型Gemini，已經開始在新的TPUv5 Pod上進行訓練，算力高達~1e26 FLOPS，比訓練GPT-4的算力還要大5倍。
另外，Gemini的訓練數(shù)據(jù)庫包含Youtube上936億分鐘的視頻字幕，總數(shù)據(jù)集規(guī)模約為GPT-4的兩倍。
據(jù)稱，谷歌下一代大模型也是由多種規(guī)模組成，可能使用了MoE架構，以及投機采樣技術。
通過小模型提前生成token并傳遞給大模型進行評估，以提高模型的總體推理速度。
谷歌DeepMind的負責人Hassabis在采訪中曾表示，Gemini預計花費數(shù)千萬到數(shù)億美元，與開發(fā)GPT-4的成本相當。
Gemini會整合AlphaGo中使用的技術，這將賦予系統(tǒng)全新的規(guī)劃、解決問題的能力。
可以這么說，Gemini把AlphaGo系統(tǒng)的一些優(yōu)勢，和大語言模型驚人的語言能力結合在一起了。并且，我們還有一些其他有趣的創(chuàng)新。
AlphaGo背后的技術，就是強化學習，這是DeepMind首創(chuàng)的技術。
RL代理隨著時間的推移與環(huán)境交互，通過反復試驗來學習策略，從而最大限度地提高長期累積獎勵
通過強化學習，AI能夠通過反復嘗試和接受反饋來調整自己的表現(xiàn)，因而學會處理很棘手的問題，比如在圍棋或電子游戲中選擇如何采取下一步行動。
另外，AlphaGo還使用了蒙特卡洛樹搜索（MCTS）方法，來探索和記住棋盤上所有可能的動作。
現(xiàn)有模型相比，Gemini將大大提高軟件開發(fā)人員的代碼生成能力，谷歌希望用它來追趕微軟的GitHub Copilot代碼助手。
谷歌內部還討論了，使用Gemini來實現(xiàn)圖表分析等功能，比如要求模型解釋完成圖表的含義，以及使用文本或語音指令來瀏覽網頁瀏覽器或其他軟件。
谷歌云開發(fā)者平臺Google Cloud Vertex AI也將得到Gemini加持，大小版本都有，這樣開發(fā)人員就可以付費購買小模型在個人設備上運行。
現(xiàn)在，谷歌已經在全力備戰(zhàn)，就等著Gemini開啟逆襲之路。
gpt-3.5-turbo-instruct發(fā)布
7月，OpenAI曾公布GPT-4 API全面可用，并且在接下來幾個月要推出新模型。
這不，就在今天，網友紛紛收到了gpt-3.5-turbo-instruct新模型發(fā)布的郵件，以代替舊模型text-davinci-003。
據(jù)介紹，gpt-3.5-turbo-instruct是一個InstructGPT風格的模型，其訓練方式與text-davinci-003類似。
使用方法和以前的Prompt-Completion類似，根據(jù)提示詞的指令補全。
就價格來說，gpt-3.5-turbo 4K保持一致。
有網友已經開始用上了最新模型，去玩1800 Elo左右的國際象棋。
而他此前還發(fā)現(xiàn)GPT根本做不到這一點，但現(xiàn)在看來這只是RLHF聊天模型的問題，純Completion模型就成功了。
在對弈中，gpt-3.5-turbo-instruct輕松擊敗了Stockfish 4級（1700 分），在5級（2000 分）的比賽中仍不落下風。
它從不走非法棋步，使用巧妙的開局犧牲，以及令人難以置信的卒與王將死，允許對手毫無實際意義地晉級。
網友用的是如下PGN風格的提示來模擬大師級游戲。高亮顯示有點錯誤。GPT自己走棋，他手動輸入了Stockfish的棋步。
順便提一句，OpenAI即將在11月召開的首屆開發(fā)者大會，已經開始注冊了，快上手申請吧。
參考資料：
https://www.theinformation.com/articles/openai-hustles-to-beat-google-to-launch-multimodal-llm
https://devday.openai.com/
https://news.ycombinator.com/item?id=37558911#:~:text=Key%20Features%3A%20Gpt%2D3.5%2D,speed%20as%20our%20turbo%20models.
