ARTICLE / OSCHINA

用 10 年前至强服务器跑满血版 Gemma 4 26B MoE,llama.cpp CPU 推理调优实录

2026年06月01日 18:37 · 来自 OSCHINA

阅读原文 → 收藏

2016年的Intel Xeon E5-2620 v4服务器,8核16线程、128GB DDR3内存、没有任何GPU——这样的硬件配置在今天看来已经相当落伍。但一位开发者偏偏要用这台"10年前的服务器"运行Google最新发布的Gemma 4 26B MoE模型,结果出乎意料:推理水平达到了"人眼可阅读"的生成速度。 作者使用的llama.cpp命令行工具,通过speculative...