關于大模型開源還是閉源，業(yè)界爭議已久。有認為同樣參數(shù)規(guī)模下，開源模型能力不如閉源的，堅定看好閉源路線的，也有認為只有開源才能在推動了技術的發(fā)展，促進產業(yè)整體繁榮的。

騰訊則又一次選擇了開源。在5月開源混元文生圖大模型后，11月5日，騰訊又開源了兩款大模型，分別是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”，支持企業(yè)及開發(fā)者精調、部署等不同場景的使用需求，可在HuggingFace、Github等技術社區(qū)直接下載，免費可商用。

騰訊機器學習技術總監(jiān)，混元算法負責人康戰(zhàn)輝認為，不同的業(yè)務需求決定了是否采用開源或閉源策略。對于一些超級復雜的業(yè)務，閉源模型更能提供高效的解決方案，因為它能在成本和用戶能力的提升上做到更優(yōu)。相比之下，開源模型則面向不同類型的開發(fā)者，尤其是中小企業(yè)和個人開發(fā)者，降低了他們的技術門檻，并且能夠通過廣泛的社區(qū)合作來推動技術的不斷發(fā)展。

他強調，騰訊的戰(zhàn)略是基于長期主義，不急功近利。盡管大模型的開源在市場上如火如荼，但騰訊并不認為開源有“早晚之分”。此次開源也是在經(jīng)過一年多的探索，在閉源模式下，將產品和技術積累到一定程度后，才選擇了開源。他們的目標是深耕AI時代的基礎設施建設，將大模型打磨成熟后開放給開發(fā)者，并通過不斷完善與優(yōu)化來增強社區(qū)的信任和認可。

開源Hunyuan-Large：最大參數(shù)的MoE架構模型

騰訊Hunyuan-Large（混元Large）模型總參數(shù)量 389B，激活參數(shù)量 52B ，上下文長度高達256K，公開測評結果顯示，在CMMLU、MMLU、CEval、MATH等多學科綜合評測集以及中英文NLP任務、代碼和數(shù)學等9大維度上，騰訊混元Large全面領先，超過Llama3.1、Mixtral等一流的開源大模型。

此外，混元Large模型，與騰訊混元Pro、混元Turbo等不同尺寸的模型共享基礎架構，源自騰訊同一技術體系。

混元Large 在各類測試集上得分領先現(xiàn)有主流開源模型｜圖片來源：騰訊

混元Large在模型結構和訓練策略上進行了全面的技術突破。首先，在結構創(chuàng)新上，混元Large深入探索了MoE（混合專家）Scaling Law，推出了共享專家路由和回收路由等優(yōu)化策略，并采用專家特化的學習率調整策略，顯著提升了不同專家的利用效率和模型的穩(wěn)定性，從而帶來了效果上的提升。

MoE模型的優(yōu)勢在于它通過專家路由機制，只激活部分專家進行計算，因此能夠以較低的計算成本處理更大規(guī)模的任務。與Dense模型相比，MoE在訓練和推理時的計算效率更高，同時可以通過增加專家數(shù)量，擴展模型的容量和智能水平。

雖然MoE有很多優(yōu)勢，但它在業(yè)界應用不多，主要是因為實現(xiàn)起來很難。MoE也有一些挑戰(zhàn)，比如MoE的訓練穩(wěn)定性較差，涉及多個專家時容易出現(xiàn)負載不均衡，訓練起來非常復雜。其次，由于專家之間的負載差異，某些專家可能訓練不足，導致模型收斂困難，最終影響預測準確性。

在模型后期訓練（Post-Train）中，混元Large也做了大量優(yōu)化。它通過分類提升了數(shù)學、邏輯推理、代碼等方面的能力，應對了SFT（監(jiān)督微調）領域多樣、數(shù)學和代碼高質量數(shù)據(jù)難獲取等挑戰(zhàn)，并在一階段離線DPO（離線偏好優(yōu)化）基礎上，增設了二階段的在線強化策略，進一步優(yōu)化了模型的表現(xiàn)。

數(shù)據(jù)方面，騰訊混元Large建立了涵蓋數(shù)十個類目、具備高質量和多樣性的中英文數(shù)據(jù)集，使模型在多方面的效果有明顯提升，尤其在數(shù)學和代碼處理方面，性能提高超過10%。為應對長文閱讀理解和多文檔總結等領域的測評難題，騰訊還基于公開數(shù)據(jù)開發(fā)了企鵝卷軸（PenguinScrolls）數(shù)據(jù)集，計劃對外開放，以支持長文方向的技術研究。

這些長文處理能力已應用到騰訊AI助手騰訊元寶中，支持最多256K長度的上下文處理，相當于整本《三國演義》的文字量。用戶可以一次上傳10個文檔，或解析多個微信公眾號鏈接與網(wǎng)址，讓元寶具備深度解析的獨特能力。

在工程平臺方面，騰訊自研的Angel機器學習平臺為混元Large提供了強大的訓練和推理支持。針對MoE模型的通信效率問題，AngelPTM框架進行了多項優(yōu)化，使訓練速度達到了主流框架DeepSpeed的2.6倍。推理方面，騰訊還推出了AngelHCF-vLLM框架，在保證精度的前提下節(jié)省了50%以上的顯存，相較于BF16主流框架提升了1倍以上的吞吐量。

目前，混元Large模型已上架騰訊云的TI平臺。TI平臺不僅配備了大模型精調工具鏈，支持靈活的數(shù)據(jù)標注，還提供Angel加速能力，讓用戶可以便捷地啟動混元Large的精調，幫助企業(yè)快速訓練出符合業(yè)務需求的專屬大模型，顯著提升研發(fā)效率。

同時，騰訊還開放了混元大模型PaaS平臺，支持十余種API服務，涵蓋了文字生成、圖像生成、角色扮演、FunctionCall、代碼等多種需求，滿足不同場景下的模型應用。

經(jīng)過在騰訊內部廣泛應用和驗證，混元大模型的能力已嵌入到包括騰訊元寶、微信公眾號、小程序、微信讀書、騰訊廣告、騰訊游戲、騰訊會議等近700個內部業(yè)務和場景中。

混元3D-1.0模型：3D生成開源先鋒

騰訊這次開源的混元3D生成大模型則是業(yè)界首個同時支持文字、圖像生成3D的開源大模型，可以幫助 3D 創(chuàng)作者和藝術家實現(xiàn) 3D 資產的自動化生成。

此前，Stability AI先后與VAST合作開源了快速3D物體重建模型TripoSR、與Tripo AI聯(lián)合開源了Stable Fast 3D模型，但整體而言，業(yè)界3D生成大模型的開源依舊較為稀缺，這主要是因為3D生成技術在計算資源、技術門檻和數(shù)據(jù)獲取方面的要求遠高于2D模型。

混元3D-1.0模型生成的3D資產｜圖片來源：騰訊

3D生成大模型的開發(fā)對計算資源要求高，且技術和成本門檻遠超2D模型；同時，3D數(shù)據(jù)獲取難度大、數(shù)據(jù)稀缺，進一步限制了開源的可行性。此外，由于3D生成模型應用市場較窄，企業(yè)傾向于保留技術優(yōu)勢，騰訊此次開源Hunyuan3D，成為了推動行業(yè)進步的一個重要突破。

此次首批開源模型包含輕量版和標準版，輕量版僅需10s即可生成高質量3D資產，現(xiàn)已在技術社區(qū)公開，包含模型權重、推理代碼、模型算法等完整模型，可供開發(fā)者、研究者等各類用戶免費使用。

此外，Hunyuan3D-1.0也已登陸騰訊云HAI平臺，利用其高性價比的GPU算力和一鍵部署功能，降低了模型的使用和部署門檻。通過HAI的可視化WebUI界面，用戶能夠更輕松地使用該模型，為3D資產創(chuàng)作提供了更多可能。

Hunyuan3D-1.0解決了現(xiàn)有3D生成模型在生成速度和泛化能力上的不足，能夠幫助3D創(chuàng)作者和藝術家自動化生產3D資產。該模型不僅具備強大的泛化能力和可控性，還能重建各種尺度的物體，從建筑到小型工具或花草都能輕松處理。根據(jù)定性和定量的多維度評估，Hunyuan3D-1.0的生成質量已達到開源模型中的領先水平。

在兩個公開的3D數(shù)據(jù)集——GSO和OmniObject3D上，Hunyuan3D-1.0的表現(xiàn)優(yōu)于主流開源模型，整體能力屬于國際領先水平。從細節(jié)層面看，該模型在幾何、紋理、紋理-幾何一致性、3D合理性和指令遵循等方面的表現(xiàn)都非常出色。

在應用方面，3D生成技術已經(jīng)開始在騰訊的多個業(yè)務中落地。例如，騰訊地圖基于混元3D大模型發(fā)布了自定義3D導航車標功能，用戶可以創(chuàng)作個性化的3D車標，相比傳統(tǒng)方案，生成速度提高了91%。此外，騰訊元寶APP也上線了“3D角色夢工廠”功能，支持個性化的UGC 3D人物生成。

之所以在這個時間點選擇開源3D生成大模型，騰訊混元3D模型負責人郭春超談到，一方面是因為騰訊業(yè)務非常豐富，從公司自身業(yè)務出發(fā)做3D生成是極其有必要的，畢竟動漫、游戲、影視這種偏娛樂類的項目都離不開3D資產，另一方面則是因為3D生成還處于前半程發(fā)展階段，它要進一步發(fā)展，需要社區(qū)一起努力，需要有更好的模型、更強的生成能力釋放出來，所以這次開源也是為了推動這一領域的進一步發(fā)展。

隨著騰訊在自研大模型技術上的不斷進步和應用經(jīng)驗的積累，開源已成為混元大模型的戰(zhàn)略之一?？梢钥闯?，騰訊開源戰(zhàn)略的核心是從公司自身的業(yè)務需求出發(fā)，逐步開放具有核心競爭力的模型。開源的大模型首先要考慮的是騰訊的內部技術積累和業(yè)務需求，確保技術的可用性和商業(yè)價值。在確保核心模型得到充分應用后，會再逐步推出一些更為小型的模型，以適應多樣化的市場需求，并為更廣泛的開發(fā)者提供支持。

另外，此次大模型開源的是參數(shù)權重，并不涉及到數(shù)據(jù)和代碼，但是接下來混元會往前走一步，會把訓練的代碼開源出來，同時會把評估期開源出來， 康戰(zhàn)輝稱，「希望向業(yè)界展示更多的誠意」。

分享到微信