來源：環(huán)球網(wǎng)

【環(huán)球網(wǎng)科技綜合報道】9月8日消息，中國科學院自動化研究所宣布，近日，中國科學院自動化研究所李國齊、徐波團隊在發(fā)表原創(chuàng)內(nèi)生復雜性理論系列論文的工作基礎上，與沐曦MetaX合作，打造了類腦脈沖大模型“瞬悉1.0”（SpikingBrain-1.0），在國產(chǎn)千卡GPU算力平臺上完成全流程訓練和推理，實現(xiàn)了大模型在超長序列推理上數(shù)量級的效率和速度提升，展示了構建國產(chǎn)自主可控的新型非Transformer大模型架構生態(tài)的可行性。研究團隊開源了SpikingBrain-1.0-7B模型并開放SpikingBrain-1.0-76B測試網(wǎng)址，同步公開了經(jīng)工業(yè)界大規(guī)模驗證的類腦脈沖大模型SpikingBrain-1.0中英文技術報告。

中國科學院自動化研究所表示，“當前，基于Transformer架構的大模型在Scaling law驅(qū)動下，通過增加網(wǎng)絡規(guī)模、算力資源和數(shù)據(jù)量提升模型智能水平，但模型的基本計算單元為簡單的點神經(jīng)元模型，我們將此路徑稱為‘基于外生復雜性’的通用智能實現(xiàn)方法。Transformer架構的固有缺點訓練時開銷隨序列長度呈平方級增長以及推理時顯存占用也隨序列長度線性增加，構成了資源消耗的主要瓶頸，導致其處理超長序列的能力受限?！?/p>

研發(fā)團隊借鑒大腦神經(jīng)元內(nèi)部復雜工作機制提出“基于內(nèi)生復雜性”的大模型構架方式，打造類腦脈沖大模型“瞬悉1.0”（ SpikingBrain-1.0），在理論上建立了脈沖神經(jīng)元內(nèi)生動力學與線性注意力模型之間的聯(lián)系，揭示了現(xiàn)有線性注意力機制是樹突計算的特殊簡化形式，從而清晰地展示了一條不斷提升模型復雜度和性能的新型可行路徑。研發(fā)團隊進而構建并開源了基于脈沖神經(jīng)元、具有線性（SpikingBrain-1.0-7B）及混合線性復雜度（SpikingBrain-1.0-76B，激活參數(shù)量12B）的新型類腦基礎模型，開發(fā)了面向國產(chǎn)GPU（沐曦MetaX曦云C550）集群高效訓練和推理框架、Triton 算子庫、模型并行策略以及集群通信原語。

據(jù)中國科學院自動化研究所介紹，SpikingBrain-1.0在多個核心性能上實現(xiàn)突破，包括極低數(shù)據(jù)量上的高效訓練，推理效率的數(shù)量級提升，國產(chǎn)自主可控類腦大模型生態(tài)的構建和基于動態(tài)閾值脈沖化的多尺度稀疏機制。

中國科學院自動化研究所表示，這是我國首次提出大規(guī)模類腦線性基礎模型架構、并首次在國產(chǎn)GPU算力集群上構建類腦脈沖大模型的訓練和推理框架。提出的模型解決了脈沖驅(qū)動限制下的大規(guī)模類腦模型性能退化問題，其超長序列處理能力在法律/醫(yī)學文檔分析、復雜多智能體模擬、高能粒子物理實驗、DNA序列分析、分子動力學軌跡等超長序列任務建模場景中具有顯著的潛在效率優(yōu)勢。本次發(fā)布的大模型為新一代人工智能發(fā)展提供了非Transformer架構的新技術路線，并將啟迪更低功耗的下一代神經(jīng)形態(tài)計算理論和芯片設計。（思瀚）