大模型激戰(zhàn)之際，繼海外的Meta之后，阿里巴巴成為又一家推動人工智能（AI）大模型“安卓時刻”潮流的科技巨頭。
8月3日周四，阿里云將70億參數的通義千問模型開源，包括通用模型Qwen-7B和對話模型Qwen-7B-Chat。這兩款模型均已上線國內首個“模型即服務”開放平臺魔搭社區(qū)，開源、免費、可商用。
開源代碼支持對Qwen-7B和Qwen-7B-Chat的量化，支持用戶在消費級顯卡上部署和運行模型。用戶既可從魔搭社區(qū)直接下載模型，也可通過阿里云靈積平臺訪問和調用Qwen-7B和Qwen-7B-Chat，阿里云為用戶提供包括模型訓練、推理、部署、精調等在內的服務。
魔塔社區(qū)已有發(fā)帖，專門介紹通義千問上述模型的安裝、創(chuàng)空間體驗、模型推理、模型訓練最佳實踐，并附有模型鏈接及下載情況截圖。
公開資料顯示，Qwen-7B使用去重及過濾后超過2.2萬億tokens的數據進行預訓練，是支持中、英等多種語言的基座模型，上下文窗口長度達到8k。它包含高質量中、英、多語言、代碼、數學等數據，囊括全網文本、百科、書籍、代碼、數學及各個領域垂類。
評測英文綜合能力的基準評測之一MMLU的評測結果顯示，在英文評測方面，Qwen-7B的效果超過了目前國內外其他同類開源預訓練模型，對比更大規(guī)模版本的模型也具有較強競爭力。中文評測方面，在C-Eval驗證集上，Qwen-7B在同等規(guī)模現有模型中取得了最高分數，甚至相比更大規(guī)模模型也具有較強競爭力。
以下為Qwen-7B的MMLU 5-shot準確率結果對比。
在Qwen-7B的基礎上，阿里云使用對齊機制打造了基于基座模型的AI助手Qwen-7B-Chat。它是基于Transformer的中英文對話大語言模型，已實現與人類認知對齊。預訓練數據類型多樣，覆蓋廣泛，包括大量網絡文本、專業(yè)書籍、代碼等。
無論是在C-Eval驗證集上，還是在MMLU評測集上，Qwen-7B-Chat模型的zero-shot準確率均在同類對齊模型中表現較優(yōu)。
以下為C-Eval測試集上的zero-shot準確率結果對比。
通義千問的開源后，阿里云成為國內首個加入大模型開源行列的大型科技企業(yè)。今年7月，微軟宣布，聯(lián)手Meta發(fā)布開源AI模型的可商用版本Llama 2，提供OpenAI和谷歌模型的平替產品。也是在7月，智譜AI及清華KEG實驗室公布，中國頂尖開源大模型ChatGLM2-6B允許免費商用。
今年4月的2023阿里云峰會上，阿里巴巴宣布向企業(yè)開放通義千問，企業(yè)可以調用通義千問的能力訓練自己的大模型。
阿里云智能集團首席技術官（CTO）周靖人當時介紹，未來企業(yè)在阿里云上既可以調用通義千問的全部能力，也可以結合企業(yè)自身的行業(yè)知識和應用場景，訓練自己的企業(yè)大模型。比如，每個企業(yè)都可以有自己的智能客服、智能導購、智能語音助手、文案助手、AI設計師、自動駕駛模型等。
阿里巴巴集團CEO兼阿里云智能集團CEO張勇當時稱，阿里巴巴所有產品未來都將接入通義千問大模型。
張勇表示，面向 AI 時代，所有產品都值得用大模型重做一次，而基于這一信念，阿里云也希望幫助更多企業(yè)用上大模型，讓每家企業(yè)都能基于通義千問，擁有具備自己行業(yè)能力的專屬大模型。
