原標題：科大訊飛與華為聯(lián)手實現(xiàn)大模型領域新突破

　　國產(chǎn)算力適配先進算法創(chuàng)新

　　今年1月，中國人工智能公司深度求索發(fā)布了令人矚目的DeepSeek-R1模型，采取創(chuàng)新的MoE架構(gòu)和高效的訓練方法，使得其在保持高性能的同時實現(xiàn)了較低的算力需求。這是大模型平衡規(guī)模與效率的一次重要探索，眾多主流大模型企業(yè)也紛紛加碼MoE架構(gòu)創(chuàng)新。

　　近日，科大訊飛攜手華為在國產(chǎn)算力領域取得重大進展，雙方聯(lián)合團隊率先突破國產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點專家并行集群推理。這是繼DeepSeek公布其MoE模型訓練推理方案后，業(yè)界首個基于國產(chǎn)算力的全新解決方案。

　　“術(shù)業(yè)有專攻”的MoE模型

　　想要了解科大訊飛與華為的這次突破的意義，需要先了解一下什么是MoE模型。

　　MoE模型全稱Mixture of Experts，即混合專家模型，是一種先進的神經(jīng)網(wǎng)絡架構(gòu)，旨在通過整合多個模型或“專家”的預測來提升整體模型性能。MoE模型的核心工作設計思路是“術(shù)業(yè)有專攻”，通過將輸入數(shù)據(jù)分配給不同的專家子模型，然后將所有子模型的輸出進行合并，以生成最終結(jié)果。

　　通俗來說，就是這個大模型內(nèi)部有一群擅長不同技術(shù)的“專家”，當我們遇到問題時，系統(tǒng)就會分析問題、把大問題拆解成一個個小問題，然后選出一個“專家組合”，讓不同的專家解答對應的小問題，“專業(yè)的人干專業(yè)的事”，再形成最終的答案。

　　舉個例子，MoE模型類似一個酒店的后廚，后廚里面有徽菜、川菜、粵菜等不同菜系的大廚，這些大廚就是專家?？腿它c完菜，后廚接到任務后，就由對應菜系的大廚來做。

　　那么問題來了，當一個客人下了單，需要做很多道菜，該怎么合理分工、布置任務，讓徽菜大廚只做徽菜，而不是分工錯誤去做了川菜?

　　這就需要提到MoE模型的一個關鍵組成部分——門控網(wǎng)絡。門控網(wǎng)絡就像是一個智能“調(diào)度員”，可以根據(jù)輸入數(shù)據(jù)的特征進行動態(tài)調(diào)整，確保每個專家處理其最擅長的數(shù)據(jù)類型或任務，從而更高效、準確地工作。

　　門控網(wǎng)絡就像后廚中的廚師長，不需要自己做菜，但是他很清楚每個廚師的能力，會根據(jù)客人的點單，安排擅長做不同菜的廚師來工作，避免資源浪費。

　　因此，MoE模型的一個優(yōu)勢就是減少計算成本，比傳統(tǒng)模型訓練成本更低，提高模型性能。

　　加碼MoE架構(gòu)創(chuàng)新

　　近年來，MoE大模型架構(gòu)憑借平衡大模型訓推成本和計算效率等優(yōu)勢，更適合處理大規(guī)模數(shù)據(jù)和復雜任務，成為字節(jié)、阿里以及科大訊飛等國內(nèi)主流大模型企業(yè)紛紛加碼的對象。從通信優(yōu)化到國產(chǎn)算力適配，一場圍繞效率與生態(tài)的競逐賽已然展開。

　　3月1日，DeepSeek發(fā)布了“開源周”后的“彩蛋”，首次公布了模型降本增效的技術(shù)細節(jié)以及理論上高達545%的利潤率。

　　DeepSeek通過MoE架構(gòu)的創(chuàng)新讓激活參數(shù)比大幅下降，使得同等效果的大模型所需的算力明顯下降?！癉eepSeek的671B參數(shù)模型在處理每個問題時，實際被激活的專家模型參數(shù)僅約37B，算力需求降低至傳統(tǒng)架構(gòu)的約二十分之一。”一位業(yè)內(nèi)人士指出。

　　技術(shù)角逐中，國內(nèi)主流AI企業(yè)紛紛跟上。3月6日，阿里云發(fā)布并開源了全新的推理模型通義千問QwQ-32B。阿里云稱，該模型采用密集架構(gòu)(Dense)，盡管參數(shù)僅為32B，但性能卻能與滿血版DeepSeek-R1這類MoE模型相媲美。

　　“不過，MoE架構(gòu)雖然能有效降低算力消耗，但在分布式訓練過程中，仍然面臨著跨設備通信開銷巨大的挑戰(zhàn)。”科大訊飛有關負責人表示。

　　近日，科大訊飛與華為的聯(lián)合團隊率先突破國產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點專家并行集群推理。聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗證和部署。

　　通過算子融合、混合并行策略和通信計算并行優(yōu)化等一系列創(chuàng)新，科大訊飛在國產(chǎn)算力上實現(xiàn)了顯著性能提升：單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。

　　國產(chǎn)算力迎發(fā)展機遇

　　DeepSeek成為“國產(chǎn)大模型之光”，引發(fā)現(xiàn)象級關注，根源在于其算法上實現(xiàn)了諸多引領行業(yè)的創(chuàng)新，并且選擇了開源，但其背后所用的仍然是英偉達提供的算力。

　　近期我國人工智能和大模型產(chǎn)業(yè)受到遏制和打壓不斷升級，在這一背景下，以DeepSeek為代表的國產(chǎn)大模型的算法突破，能否與國產(chǎn)算力支撐適配，顯然已經(jīng)成為一項事關我國大模型和人工智能長遠發(fā)展的急務。

　　基于此次科大訊飛攜手華為所做的首個基于國產(chǎn)算力的MoE模型訓推方案，科大訊飛稱，這一突破性的解決方案也將應用于訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產(chǎn)算力上DeepSeek-V3和R1的高效推理。

　　值得注意的是，近期，科大訊飛深度推理大模型星火X1也完成升級，在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學能力全面對標DeepSeek-R1和OpenAI o1，在中文數(shù)學各項任務中均實現(xiàn)領先?？拼笥嶏w始終堅定走國產(chǎn)化道路，星火X1也是當前唯一采用全國產(chǎn)算力訓練的深度推理大模型。

　　算力供應是AI技術(shù)的底層支撐，自主可控方能“防患于未然”。從DeepSeek點燃開源之火，到字節(jié)、阿里爭相技術(shù)共享，再到科大訊飛實現(xiàn)國產(chǎn)算力突破，國內(nèi)MoE賽道已形成“效率迭代”與“自主可控”的雙重敘事。

　　國產(chǎn)算力突破關乎技術(shù)主權(quán)與供應鏈安全，在AI基礎設施競爭白熱化的當下，戰(zhàn)略意義顯而易見。

　　不少咨詢機構(gòu)的研報均指出，DeepSeek等頭部模型的發(fā)展讓AI應用加速落地，持續(xù)放大算力需求，同時降低AI行業(yè)進入門檻與成本，長期看將推動總需求上升而非下降，加速推理算力需求的提升。AI算力國產(chǎn)化勢在必行，國產(chǎn)算力迎來重要發(fā)展機遇。