摩尔线程王华：万卡训练中，最危险的往往是「不报错」｜GAIR 2025

作者｜包永刚 编辑｜林觉民 2025年12月12-13日，第八届GAIR全球人工智能与机器人大会在深圳·博林天瑞喜来登酒店正式启幕。 作为AI 产学研投界的标杆盛会，GAIR自2016年创办以来，始终坚守“传承+创新”内核，始终致力于连接技术前沿与产业实践。 在人工智能逐步成为国家竞争核心变量的当下，算力正以前所未有的速度重塑技术路径与产业结构。13日举办的「AI 算力新十年」专场聚焦智能体系的底层核心——算力，从架构演进、生态构建到产业化落地展开系统讨论，试图为未来十年的中国AI产业，厘清关键变量与发展方向。 王华在「AI算力新十年」论坛发表了主题为《基于国产GPU集群的大规模训练实践》的演讲。 当海外头部公司已经建设十万卡、甚至二十万卡规模的 GPU 集群，万卡训练正在从“前沿探索”转变为大模型研发的基础设施能力。模型参数规模进入万亿级之后，真正拉开差距的，已不再只是单卡性能，而是训练周期能否被压缩、系统是否长期稳定、工程效率能否支撑高频迭代。 在这样的背景下，万卡训练所面临的挑战也发生了根本变化。 节点故障、性能抖动、通信与存储瓶颈，在集群规模被放大之后都会成为常态问题，很多在千卡规模下可以容忍的风险，在万卡场景中都会被大幅放大。 王华在演讲中将结合摩尔线程在国产 GPU 万卡级真实集群上的训练实践，系统拆解这一过程中遇到的关键难题，以及相应的工程解法。从并行策略选择、训练前的模拟与起飞检查，到异步 Checkpoint、慢节点治理，再到静默数据错误、Hang 以及 Inf/NaN 等稳定性问题的应对， 他重点分享如何通过软件栈、自动化与可观测体系，把万卡训练从“能跑”推进到“可持续稳定地跑”。 这些经验并非实验室结论，而是来自真实生产环境中反复验证后的工程积累，他希望摩尔线程的经验能够给想要做万卡训练的公司和