创新Transformer！面壁基于稀疏-线性混合架构SALA训练9B模型，端侧跑通百万上下文

众所周知，Transformer 及其核心的全注意力机制（Full Attention）虽长期占据大模型架构的核心地位，但平方级计算复杂度、高额显存占用的瓶颈，早已成为实现超长上下文处理与模型规模化应用的 “拦路虎”。敢于挑战这一固有权威，需要的不仅是实现 AGI 长远目标勇于创新的魄力，更需要有独到的技术视野以及突破技术壁垒的硬实力。从 DeepSeek 的稀疏注意力（DSA）、MiniMax 的线性注意力、到月之暗面的线性注意力（KDA），大家纷纷投入注意力架构的革新竞技场。 今天，面壁智能也在这场变革中迈出了关键一步：正式发布行业首个大规模训练的稀疏-线性注意力混合架构 SALA（Sparse Attention-Linear Attention，简称SALA），以及基于该架构的文本模型 MiniCPM-SALA，以追求更长文本处理能力与极致的推理性价比。MiniCPM-SALA 不仅在多项长文本理解与生成评测中优势明显，且在知识问答、数学推理、代码生成等核心能力维度上，保持了与同规模全注意力模型相当的卓越水平，实现了“长短兼备”的综合性能表现，以及极致推理性价比。 ▍MiniCPM-SALA 亮点一览 ▪ 架构革新：“稀疏-线性”注意力混合架构，在显著降低推理开销与显存占用的同时，克服了纯线性架构在长程信息召回上的精度瓶颈，效率性能兼顾。 ▪ 卓越性能：采用HyPE（混合位置编码）来有效协调短上下文和长上下文的性能。在保持通用能力（如知识、数学和编码）与其他8B全注意力模型相当的同时，MiniCPM-SALA 在多个长上下文基准测试中表现出明显优势。 ▪ 高效推理：不使用投机采样等加速算法，在云端推理芯片上，当序列长度为256K词元时推理速度高达 Qwen3-8B 的 3.5 倍，并支持在云端芯片和消费级端侧 GPU 上进行高达一百万词元上下文长度的推理。 ▍ 相关链接 GitHub 链接： ? https://github.com/openbmb/minicpm HuggingFace 链接： ? https://huggingface