2026中國(guó)算力大會(huì)“算力首創(chuàng)首發(fā)發(fā)布會(huì)”專場(chǎng)上,由移動(dòng)云公司聯(lián)合中國(guó)電子科技南湖研究院、北京靈汐科技、上海天數(shù)智芯、清華大學(xué)、北京大學(xué)共同打造的國(guó)內(nèi)首個(gè)國(guó)產(chǎn)GPU+類腦芯片大模型異構(gòu)混合推理系統(tǒng)正式發(fā)布。該系統(tǒng)通過全棧架構(gòu)創(chuàng)新,讓國(guó)產(chǎn)芯片也能高效支撐大模型推理,為國(guó)內(nèi)大模型、多智能體應(yīng)用提供一條自主可控的新算力路徑。

互動(dòng)現(xiàn)場(chǎng)

首創(chuàng)成果

大模型推理進(jìn)入爆發(fā)期,傳統(tǒng)架構(gòu)遭遇雙重瓶頸

隨著人工智能產(chǎn)業(yè)重心從模型訓(xùn)練轉(zhuǎn)向規(guī);评矸⻊(wù),推理算力已經(jīng)成為支撐詞元工廠、AI智能體、文生視頻等業(yè)務(wù)的新型數(shù)字基礎(chǔ)設(shè)施。大模型并發(fā)服務(wù)對(duì)吞吐量、能耗成本提出極高要求,傳統(tǒng)單一GPU推理架構(gòu)越來越吃力。一方面,數(shù)據(jù)頻繁搬運(yùn)會(huì)帶來“內(nèi)存墻”和“功耗墻”;另一方面,國(guó)內(nèi)先進(jìn)芯片制程供給受限,單純靠硬件工藝升級(jí)提升算力,空間有限。行業(yè)需要跳出“只追先進(jìn)制程”的思路,從系統(tǒng)架構(gòu)層面尋找新解法。

國(guó)產(chǎn)GPU與類腦芯片分工,混合推理技術(shù)實(shí)現(xiàn)突破

項(xiàng)目團(tuán)隊(duì)從系統(tǒng)架構(gòu)創(chuàng)新入手,首次將國(guó)產(chǎn)通用GPU與類腦芯片深度融合,打造對(duì)標(biāo)英偉達(dá)下一代國(guó)際先進(jìn)異構(gòu)推理方案的國(guó)產(chǎn)化系統(tǒng)。創(chuàng)新實(shí)現(xiàn)Transformer模型PD/AF分離推理模式:將Attention(注意力)計(jì)算與FFN(前饋網(wǎng)絡(luò))模塊拆分,由不同特性的國(guó)產(chǎn)芯片分工處理。Attention計(jì)算交由國(guó)產(chǎn)GPU承載,F(xiàn)FN模塊交由類腦芯片處理,充分發(fā)揮類腦芯片存算一體、片上大容量SRAM的架構(gòu)優(yōu)勢(shì),突破傳統(tǒng)GPU推理的固有瓶頸。

同時(shí),團(tuán)隊(duì)自研模型編譯器、高速互聯(lián)協(xié)議和統(tǒng)一推理引擎,實(shí)現(xiàn)兩類算力的任務(wù)拆解、協(xié)同調(diào)度、結(jié)果聚合,真正實(shí)現(xiàn)兩種架構(gòu)算力優(yōu)勢(shì)互補(bǔ)。項(xiàng)目已在DeepSeek V4 Flash 大模型上完成完整調(diào)優(yōu)驗(yàn)證,相較同類國(guó)產(chǎn)GPU算力集群,推理輸出和能效均提升1倍以上、業(yè)務(wù)運(yùn)營(yíng)成本降低40%以上。

這意味著,依托國(guó)內(nèi)成熟工藝的國(guó)產(chǎn)芯片,通過系統(tǒng)架構(gòu)創(chuàng)新,可以實(shí)現(xiàn)對(duì)標(biāo)國(guó)際下一代推理架構(gòu)的業(yè)務(wù)能力,為大模型推理國(guó)產(chǎn)化落地提供可復(fù)制的技術(shù)范式。

產(chǎn)學(xué)研協(xié)同共建,面向多場(chǎng)景推進(jìn)落地開放

該成果是產(chǎn)學(xué)研用協(xié)同創(chuàng)新的典型實(shí)踐,整合運(yùn)營(yíng)商、芯片企業(yè)、科研院所、高校多方力量,打通從底層芯片適配、推理引擎開發(fā)到業(yè)務(wù)場(chǎng)景驗(yàn)證的完整鏈條。后續(xù)團(tuán)隊(duì)將持續(xù)迭代異構(gòu)推理系統(tǒng),面向詞元工廠、AI代碼開發(fā)、文生視頻、多智能體協(xié)同、智能制造、金融通信安全等場(chǎng)景開展落地驗(yàn)證,并計(jì)劃將核心異構(gòu)推理框架逐步開放,賦能國(guó)內(nèi)GPU、類腦芯片廠商及算力運(yùn)營(yíng)商,帶動(dòng)國(guó)產(chǎn)算力產(chǎn)業(yè)鏈整體發(fā)展。

本次異構(gòu)混合推理系統(tǒng)在中國(guó)算力大會(huì)首發(fā),為智能體時(shí)代的AI推理提供國(guó)產(chǎn)化全新算力底座。以架構(gòu)創(chuàng)新彌補(bǔ)工藝約束,這一方案也為國(guó)內(nèi)AI算力自主發(fā)展提供重要的創(chuàng)新參考方向。(來源:移動(dòng)云)

編輯:張順鵬
更多精彩資訊請(qǐng)?jiān)趹?yīng)用市場(chǎng)下載“央廣網(wǎng)”客戶端。歡迎提供新聞線索,24小時(shí)報(bào)料熱線400-800-0088;消費(fèi)者也可通過央廣網(wǎng)“啄木鳥消費(fèi)者投訴平臺(tái)”線上投訴。版權(quán)聲明:本文章版權(quán)歸屬央廣網(wǎng)所有,未經(jīng)授權(quán)不得轉(zhuǎn)載。轉(zhuǎn)載請(qǐng)聯(lián)系:cnrbanquan@cnr.cn,不尊重原創(chuàng)的行為我們將追究責(zé)任。
長(zhǎng)按二維碼
關(guān)注精彩內(nèi)容