The risk of KV cache compression
paper-conference
Riesgo minimax y principios de diseño para comprimir la caché KV con precisión bajo enmascaramiento causal.
Recursos
Historial de publicación
Preprint: 1 de julio de 2026. Aceptado en NeurIPS 2026; los datos definitivos de las actas están pendientes de publicación.
Resumen
El artículo caracteriza el riesgo minimax de la compresión de la caché KV mediante su compresibilidad intrínseca. Este análisis identifica cuándo es posible comprimir con precisión y aporta principios de diseño para atención causal compatibles con el procesamiento inicial y la decodificación autorregresiva eficientes. Un algoritmo práctico implementa estos principios y se evalúa con experimentos específicos en LongBench.
Cita
@inproceedings{haverbeck2026kvcacherisk,
author = {Haverbeck, Lukas and Amo Alonso, Carmen and Posada-Moreno, Andres Felipe and Trimpe, Sebastian and Pavone, Marco},
title = {The risk of KV cache compression},
booktitle = {Advances in Neural Information Processing Systems},
year = {2026},
note = {Accepted at NeurIPS 2026; proceedings forthcoming},
eprint = {2607.01520},
archivePrefix = {arXiv},
url = {https://neurips.cc/virtual/2026/poster/153754}
}