11月5日消息，騰訊發(fā)布開源MoE大語言模型Hunyuan-large，總參數(shù)398B為業(yè)內(nèi)最大，激活參數(shù)量52B。公開測(cè)評(píng)結(jié)果顯示，騰訊混元Large在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測(cè)集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度全面領(lǐng)先，超過Llama3.1、Mixtral等一流的開源大模型。據(jù)了解，該模型在技術(shù)創(chuàng)新上可實(shí)現(xiàn)高質(zhì)量合成數(shù)據(jù)，通過使用合成數(shù)據(jù)增強(qiáng)訓(xùn)練，有效應(yīng)對(duì)自然數(shù)據(jù)的不足。在上下文處理能力方面，預(yù)訓(xùn)練模型支持高達(dá)256K的文本序列，顯著增強(qiáng)了處理長上下文任務(wù)的能力。  

同時(shí)，騰訊混元宣布，為填補(bǔ)行業(yè)真實(shí)長文評(píng)測(cè)集不足，騰訊混元即將開源企鵝卷軸評(píng)測(cè)集助力業(yè)界應(yīng)用研究。自研企鵝卷軸(PenguinScrolls)基于公開金融、法律、學(xué)術(shù)論文等多種自然長文本，長度范圍達(dá)1K-128K，覆蓋各種深度閱讀理解、長文推理任務(wù)。