趋境开源框架 KTransformers 成主流大模型首选，Qwen、Kimi、智谱 AI 推荐，单卡跑万亿模型

全球头部开源模型方的共同选择，印证了一款底层框架的硬实力。趋境科技与清华共同开源的KTransformers，已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎，其工程实践与兼容性也被多家一体机产品线采纳，成为被开发者、厂商与开源社区广泛复用的共建式底层框架。 技术与生态双认可：成功入选 “计算机系统领域奥斯卡” SOSP 2025 KTransformers 是一个高性能异构推理框架，专注于高效利用底层 GPU、CPU、内存等多样化算力，让大模型在更低算力、更灵活的硬件架构上高效运行。其论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入选 “计算机系统领域奥斯卡” SOSP 2025，该顶会过去几十年间见证了虚拟化、分布式文件系统等无数里程碑式技术成果的首次亮相，此次入选标志着 KTransformers 的技术实力获得全球顶尖认可。 11月6日，月之暗面发布Kimi-K2-Thinking 模型后，KTransformers迅速完成全面适配，支持用户在单卡环境下完成推理任务，2卡环境下完成LoRA微调任务，大幅降低部署与定制化门槛。同时，趋境科技也已完成该模型在昇腾NPU上的全面适配，提供完善的全国产化推理解决方案，进一步拓宽其应用场景。 推理与微调双高效：KTransformers+SGLang实现高性能推理部署 在推理部署层面，KTransformers与主流推理框架SGLang于10月达成合作，双方架构合入同一分支。在Kimi-K2-1TB的模型推理任务中，用户仅需简单安装SGLang与KTransformers CPU内核，下载官方模型及量化权重，即可通过一条命令启动服务，且仅需单张消费级 GPU+CPU。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式，推动大模型推理向更高性能、更低成本演进，迈向更广泛的产业落地。 <img src="https://static.leiphone.com/uploads/new/images/20251120/