El prompt caching permite que el proveedor guarde una parte del contexto ya procesada y la reutilice en llamadas siguientes, cobrándola mucho más barata que un token de entrada normal. Es la optimización de coste más fácil de aplicar cuando repites contexto.
En muchos usos, buena parte de la entrada es idéntica llamada tras llamada: un system prompt largo, las instrucciones de una herramienta, un documento de referencia, el historial de un chat. Sin caché lo pagas completo cada vez. Con caché, esa parte estable se cobra a una fracción del precio.
Regla de oro: lo estable va al principio del prompt; lo variable, al final. Cualquier cambio en el prefijo invalida la caché desde ese punto.
[!NOTE] Esto explica un detalle de los coding agents: mantener la conversación “caliente” (llamadas seguidas) aprovecha la caché; esperar demasiado la deja expirar y la siguiente llamada vuelve a costar completa.
Reduce el coste de la entrada del API pricing y es clave en el agentic loop.