記者9月8日從中國(guó)科學(xué)院自動(dòng)化研究所獲悉，來(lái)自該所等單位的科研人員首次在國(guó)產(chǎn)GPU（圖形處理器）算力平臺(tái)上完成原生類腦脈沖大模型“瞬悉”1.0的全流程訓(xùn)練和推理，并正式開(kāi)源了70億參數(shù)版本大模型，同時(shí)開(kāi)放了760億參數(shù)版本大模型的測(cè)試網(wǎng)址。這是全球首個(gè)類腦脈沖大模型，實(shí)現(xiàn)了全流程國(guó)產(chǎn)化，標(biāo)志著我國(guó)在類腦計(jì)算與大模型融合創(chuàng)新方面取得重要突破。

當(dāng)前，基于Transformer架構(gòu)的大模型主要依賴簡(jiǎn)單“點(diǎn)神經(jīng)元”與大規(guī)模算力提升智能，但其訓(xùn)練和推理成本隨文本長(zhǎng)度急劇增加。

在這項(xiàng)研究中，研究團(tuán)隊(duì)借鑒大腦神經(jīng)元的工作機(jī)制，提出了具有線性復(fù)雜度的類腦脈沖大模型架構(gòu)，成功打造出“瞬悉”1.0。