Prompt caching 技术是如何实现 1 折的推理成本优化的？

作者的核心观点是：Prompt Caching 的本质并非简单的文本字符串缓存，而是对 Transformer 注意力机制中 Key-Value（KV）矩阵计算结果的复用，通过避免重复计算注意力权重来实现成本削减与性能提升。