3月10日，字節(jié)豆包大模型團隊官宣開源一項針對MoE架構的關鍵優(yōu)化技術，可將大模型訓練效率提升1.7倍，成本節(jié)省40%。據(jù)了解，該技術已實際應用于字節(jié)的萬卡集群訓練，累計幫助節(jié)省了數(shù)百萬GPU小時訓練算力。
OpenAI的首席執(zhí)行官Sam Altman在周四透露，由于計算能力的限制，公司無法按預期頻率推出新產(chǎn)品。他解釋稱，隨著AI模型變得日益復雜，公司難以同時處理眾多項目，尤其是在計算資源分配上面臨挑戰(zhàn)。