劃重點
01騰訊開源了兩款大模型：混元Large和混元3D生成大模型Hunyuan3D-1.0，支持企業(yè)及開發(fā)者精調(diào)、部署等不同場景的使用需求。
02混元Large模型總參數(shù)量389B，激活參數(shù)量52B，上下文長度高達256K，在多維度評測中全面領(lǐng)先。
03除此之外，混元3D-1.0模型是業(yè)界首個同時支持文字、圖像生成3D的開源大模型，輕量版僅需10秒即可生成高質(zhì)量3D資產(chǎn)。
04騰訊混元大模型已應(yīng)用到近700個內(nèi)部業(yè)務(wù)和場景中，此次開源旨在推動AI時代的基礎(chǔ)設(shè)施建設(shè)和技術(shù)發(fā)展。
05未來，騰訊將繼續(xù)開源更多模型，包括訓(xùn)練代碼和評估期，以展示誠意并支持更廣泛的開發(fā)者。
以上內(nèi)容由大模型生成，僅供參考
關(guān)于大模型開源還是閉源，業(yè)界爭議已久。有認為同樣參數(shù)規(guī)模下，開源模型能力不如閉源的，堅定看好閉源路線的，也有認為只有開源才能在推動了技術(shù)的發(fā)展，促進產(chǎn)業(yè)整體繁榮的。
騰訊則又一次選擇了開源。在5月開源混元文生圖大模型后，11月5日，騰訊又開源了兩款大模型，分別是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”，支持企業(yè)及開發(fā)者精調(diào)、部署等不同場景的使用需求，可在HuggingFace、Github等技術(shù)社區(qū)直接下載，免費可商用。
騰訊機器學(xué)習(xí)技術(shù)總監(jiān)，混元算法負責(zé)人康戰(zhàn)輝認為，不同的業(yè)務(wù)需求決定了是否采用開源或閉源策略。對于一些超級復(fù)雜的業(yè)務(wù)，閉源模型更能提供高效的解決方案，因為它能在成本和用戶能力的提升上做到更優(yōu)。相比之下，開源模型則面向不同類型的開發(fā)者，尤其是中小企業(yè)和個人開發(fā)者，降低了他們的技術(shù)門檻，并且能夠通過廣泛的社區(qū)合作來推動技術(shù)的不斷發(fā)展。
他強調(diào)，騰訊的戰(zhàn)略是基于長期主義，不急功近利。盡管大模型的開源在市場上如火如荼，但騰訊并不認為開源有“早晚之分”。此次開源也是在經(jīng)過一年多的探索，在閉源模式下，將產(chǎn)品和技術(shù)積累到一定程度后，才選擇了開源。他們的目標(biāo)是深耕AI時代的基礎(chǔ)設(shè)施建設(shè)，將大模型打磨成熟后開放給開發(fā)者，并通過不斷完善與優(yōu)化來增強社區(qū)的信任和認可。
開源Hunyuan-Large：最大參數(shù)的MoE架構(gòu)模型騰訊Hunyuan-Large（混元Large）模型總參數(shù)量 389B，激活參數(shù)量 52B ，上下文長度高達256K，公開測評結(jié)果顯示，在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評測集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度上，騰訊混元Large全面領(lǐng)先，超過Llama3.1、Mixtral等一流的開源大模型。
此外，混元Large模型，與騰訊混元Pro、混元Turbo等不同尺寸的模型共享基礎(chǔ)架構(gòu)，源自騰訊同一技術(shù)體系。
混元Large 在各類測試集上得分領(lǐng)先現(xiàn)有主流開源模型｜圖片來源：騰訊
混元Large在模型結(jié)構(gòu)和訓(xùn)練策略上進行了全面的技術(shù)突破。首先，在結(jié)構(gòu)創(chuàng)新上，混元Large深入探索了MoE（混合專家）Scaling Law，推出了共享專家路由和回收路由等優(yōu)化策略，并采用專家特化的學(xué)習(xí)率調(diào)整策略，顯著提升了不同專家的利用效率和模型的穩(wěn)定性，從而帶來了效果上的提升。
MoE模型的優(yōu)勢在于它通過專家路由機制，只激活部分專家進行計算，因此能夠以較低的計算成本處理更大規(guī)模的任務(wù)。與Dense模型相比，MoE在訓(xùn)練和推理時的計算效率更高，同時可以通過增加專家數(shù)量，擴展模型的容量和智能水平。
雖然MoE有很多優(yōu)勢，但它在業(yè)界應(yīng)用不多，主要是因為實現(xiàn)起來很難。MoE也有一些挑戰(zhàn)，比如MoE的訓(xùn)練穩(wěn)定性較差，涉及多個專家時容易出現(xiàn)負載不均衡，訓(xùn)練起來非常復(fù)雜。其次，由于專家之間的負載差異，某些專家可能訓(xùn)練不足，導(dǎo)致模型收斂困難，最終影響預(yù)測準確性。
在模型后期訓(xùn)練（Post-Train）中，混元Large也做了大量優(yōu)化。它通過分類提升了數(shù)學(xué)、邏輯推理、代碼等方面的能力，應(yīng)對了SFT（監(jiān)督微調(diào)）領(lǐng)域多樣、數(shù)學(xué)和代碼高質(zhì)量數(shù)據(jù)難獲取等挑戰(zhàn)，并在一階段離線DPO（離線偏好優(yōu)化）基礎(chǔ)上，增設(shè)了二階段的在線強化策略，進一步優(yōu)化了模型的表現(xiàn)。
數(shù)據(jù)方面，騰訊混元Large建立了涵蓋數(shù)十個類目、具備高質(zhì)量和多樣性的中英文數(shù)據(jù)集，使模型在多方面的效果有明顯提升，尤其在數(shù)學(xué)和代碼處理方面，性能提高超過10%。為應(yīng)對長文閱讀理解和多文檔總結(jié)等領(lǐng)域的測評難題，騰訊還基于公開數(shù)據(jù)開發(fā)了企鵝卷軸（PenguinScrolls）數(shù)據(jù)集，計劃對外開放，以支持長文方向的技術(shù)研究。
這些長文處理能力已應(yīng)用到騰訊AI助手騰訊元寶中，支持最多256K長度的上下文處理，相當(dāng)于整本《三國演義》的文字量。用戶可以一次上傳10個文檔，或解析多個微信公眾號鏈接與網(wǎng)址，讓元寶具備深度解析的獨特能力。
在工程平臺方面，騰訊自研的Angel機器學(xué)習(xí)平臺為混元Large提供了強大的訓(xùn)練和推理支持。針對MoE模型的通信效率問題，AngelPTM框架進行了多項優(yōu)化，使訓(xùn)練速度達到了主流框架DeepSpeed的2.6倍。推理方面，騰訊還推出了AngelHCF-vLLM框架，在保證精度的前提下節(jié)省了50%以上的顯存，相較于BF16主流框架提升了1倍以上的吞吐量。
目前，混元Large模型已上架騰訊云的TI平臺。TI平臺不僅配備了大模型精調(diào)工具鏈，支持靈活的數(shù)據(jù)標(biāo)注，還提供Angel加速能力，讓用戶可以便捷地啟動混元Large的精調(diào)，幫助企業(yè)快速訓(xùn)練出符合業(yè)務(wù)需求的專屬大模型，顯著提升研發(fā)效率。
同時，騰訊還開放了混元大模型PaaS平臺，支持十余種API服務(wù)，涵蓋了文字生成、圖像生成、角色扮演、FunctionCall、代碼等多種需求，滿足不同場景下的模型應(yīng)用。
經(jīng)過在騰訊內(nèi)部廣泛應(yīng)用和驗證，混元大模型的能力已嵌入到包括騰訊元寶、微信公眾號、小程序、微信讀書、騰訊廣告、騰訊游戲、騰訊會議等近700個內(nèi)部業(yè)務(wù)和場景中。
混元3D-1.0模型：3D生成開源先鋒騰訊這次開源的混元3D生成大模型則是業(yè)界首個同時支持文字、圖像生成3D的開源大模型，可以幫助 3D 創(chuàng)作者和藝術(shù)家實現(xiàn) 3D 資產(chǎn)的自動化生成。
此前，Stability AI先后與VAST合作開源了快速3D物體重建模型TripoSR、與Tripo AI聯(lián)合開源了Stable Fast 3D模型，但整體而言，業(yè)界3D生成大模型的開源依舊較為稀缺，這主要是因為3D生成技術(shù)在計算資源、技術(shù)門檻和數(shù)據(jù)獲取方面的要求遠高于2D模型。
混元3D-1.0模型生成的3D資產(chǎn)｜圖片來源：騰訊
3D生成大模型的開發(fā)對計算資源要求高，且技術(shù)和成本門檻遠超2D模型；同時，3D數(shù)據(jù)獲取難度大、數(shù)據(jù)稀缺，進一步限制了開源的可行性。此外，由于3D生成模型應(yīng)用市場較窄，企業(yè)傾向于保留技術(shù)優(yōu)勢，騰訊此次開源Hunyuan3D，成為了推動行業(yè)進步的一個重要突破。
此次首批開源模型包含輕量版和標(biāo)準版，輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn)，現(xiàn)已在技術(shù)社區(qū)公開，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供開發(fā)者、研究者等各類用戶免費使用。
此外，Hunyuan3D-1.0也已登陸騰訊云HAI平臺，利用其高性價比的GPU算力和一鍵部署功能，降低了模型的使用和部署門檻。通過HAI的可視化WebUI界面，用戶能夠更輕松地使用該模型，為3D資產(chǎn)創(chuàng)作提供了更多可能。
Hunyuan3D-1.0解決了現(xiàn)有3D生成模型在生成速度和泛化能力上的不足，能夠幫助3D創(chuàng)作者和藝術(shù)家自動化生產(chǎn)3D資產(chǎn)。該模型不僅具備強大的泛化能力和可控性，還能重建各種尺度的物體，從建筑到小型工具或花草都能輕松處理。根據(jù)定性和定量的多維度評估，Hunyuan3D-1.0的生成質(zhì)量已達到開源模型中的領(lǐng)先水平。
在兩個公開的3D數(shù)據(jù)集GSO和OmniObject3D上，Hunyuan3D-1.0的表現(xiàn)優(yōu)于主流開源模型，整體能力屬于國際領(lǐng)先水平。從細節(jié)層面看，該模型在幾何、紋理、紋理-幾何一致性、3D合理性和指令遵循等方面的表現(xiàn)都非常出色。
在應(yīng)用方面，3D生成技術(shù)已經(jīng)開始在騰訊的多個業(yè)務(wù)中落地。例如，騰訊地圖基于混元3D大模型發(fā)布了自定義3D導(dǎo)航車標(biāo)功能，用戶可以創(chuàng)作個性化的3D車標(biāo)，相比傳統(tǒng)方案，生成速度提高了91%。此外，騰訊元寶APP也上線了“3D角色夢工廠”功能，支持個性化的UGC 3D人物生成。
之所以在這個時間點選擇開源3D生成大模型，騰訊混元3D模型負責(zé)人郭春超談到，一方面是因為騰訊業(yè)務(wù)非常豐富，從公司自身業(yè)務(wù)出發(fā)做3D生成是極其有必要的，畢竟動漫、游戲、影視這種偏娛樂類的項目都離不開3D資產(chǎn)，另一方面則是因為3D生成還處于前半程發(fā)展階段，它要進一步發(fā)展，需要社區(qū)一起努力，需要有更好的模型、更強的生成能力釋放出來，所以這次開源也是為了推動這一領(lǐng)域的進一步發(fā)展。
隨著騰訊在自研大模型技術(shù)上的不斷進步和應(yīng)用經(jīng)驗的積累，開源已成為混元大模型的戰(zhàn)略之一。可以看出，騰訊開源戰(zhàn)略的核心是從公司自身的業(yè)務(wù)需求出發(fā)，逐步開放具有核心競爭力的模型。開源的大模型首先要考慮的是騰訊的內(nèi)部技術(shù)積累和業(yè)務(wù)需求，確保技術(shù)的可用性和商業(yè)價值。在確保核心模型得到充分應(yīng)用后，會再逐步推出一些更為小型的模型，以適應(yīng)多樣化的市場需求，并為更廣泛的開發(fā)者提供支持。
另外，此次大模型開源的是參數(shù)權(quán)重，并不涉及到數(shù)據(jù)和代碼，但是接下來混元會往前走一步，會把訓(xùn)練的代碼開源出來，同時會把評估期開源出來， 康戰(zhàn)輝稱，「希望向業(yè)界展示更多的誠意」。
