上海AI Lab胡侠：KV Cache压缩之后，可让价格2万美金的GPU发挥出20万美金的价值 | GAIR 2025

目前，不同大模型厂商发布的大语言模型在处理超长上下文方面已经有显著突破，最高的已能支持数百万 Token 的输入，例如 MiniMax-M1、Qwen2.5-1M 系列模型，均支持百万Token（1M）级别的超长上下文处理能力。 但是这场有关提升大模型上下文长度的“军备赛”依然不会停止，这是一项巨大的工程与效率之战。因为超长下文为模型智能提供了最广阔的发挥空间——在处理如金融、法律、医疗等领域的长语境任务是表现更好。所以谁能率先突破更长上下文处理能力，便有机会创造出更大的商业与技术价值。 胡侠团队便针对这一目标提出了一项最新研究方案——“通过有损计算（Lossy Computation）来提高大语言模型的推理效率”。这项研究的基本思路是，利用大语言模型对来自低精度计算等“有损”操作产生的噪声具有极强鲁棒性这一特点，主动引入可控的、不损害性能的信息损失，以换取显著的效率提升。 大模型中的“有损计算”是通过有选择地牺牲一部分精度来大幅降低计算或者存储成本，从而提升推理效率，主要围绕模型参数量化、KV Cache 压缩、模型剪枝与知识蒸馏等核心路径展开。 胡侠认为，大语言模型虽已实现类人对话能力，但在处理医疗领域长篇文献信息提取等长语境任务时，面临着“预训练长度限制”与“推理内存需求激增”的双重挑战。 针对这两项挑战，团队提出的“通过有损计算（Lossy Computation）来提高大语言模型的推理效率”方案，实现了两项关键技术突破：一是在算法层面，通过粗化远距离标记的位置信息，成功将大语言模型的语境长度扩展至原有水平的 8 倍；二是在系统层面，将过往标记的中间状态（KV Cache）量化为 2 比特数字，实现了 8 倍内存效率的提升和 3.5 倍时钟时间加速的重大进展。 胡侠是人工智能领域的国际知名学者，长期从事数据挖掘、机器学习和人工智能研究，目前是上海人工智能实验室主任助理、领军科学家，曾担任美国莱斯大学正教授、数据科学中心主任，亦是AIPOW公司联合创始人兼首席科学家。其主导开发的开源系统 AutoKeras 成为最常用的自动机器学习框架之一（超过 8000 次 star 及 1000 次 fork），开发的 NCF 算法及系统（单篇论文被引用超 8000 余次）成为主流人工智能框架