ARTICLE / 雷锋网

不靠英伟达,中科院在国产 GPU 上跑通 76B 类脑大模型

2025年09月24日 16:24 · 来自 雷锋网

阅读原文 → 收藏

过去几年,大模型几乎都依赖 Transformer,它支撑了 GPT、Claude、Gemini 等一众前沿模型的进步,但也一直被诟病:一旦文本变长,计算量和内存消耗就会成倍膨胀,百万级 token 几乎不可承受。与此同时,大模型训练几乎完全依赖 NVIDIA 的 GPU 体系。从算力到软件栈,整个行业被牢牢绑定在 CUDA 上,硬件自主化成了迟迟迈不过去的门槛。 正因为如此,业界一直在寻找“下一条路”。有人尝试混合架构,有人研究稀疏专家,也有人试水类脑计算。但这些探索往往停留在小规模实验,很少能真正跑到大模型层面。 直到最近,中科院团队抛出了一篇新论文,提出了一个全新系列的类脑大模型 SpikingBrain。他们通过引入 spiking 神经元、线性注意力和稀疏专家机制,不仅在超长文本处理上实现了 百倍加速,还首次在 国产 GPU 平台 MetaX 上稳定训练出 76B 规模的模型。 同时,SpikingBrain 的问世也证明了大模型并不是只能依赖 Transformer + NVIDIA 的组合,另一条通往未来的道路正在被打开。 论文链接:https://www.arxiv.org/pdf/2509.05276 大模型的新答案 在实验中,研究团队在超长上下文任务上取得了突破性成果。以 SpikingBrain-7B 为例,当输入长度达到 400 万 token 时,其 Time-to-First-Token(首个 token 生成延迟)比传统 Transformer 快了 100 倍。换句话说,原本需要长时间等待的超长文本任务,如今几乎可以做到即时响应。 <img src="https://static.leiphone.com/uploads/new/images/20250924/68d3a9dcf3e4d.png?imageVie