Inicio / La API de Claude para quienes construyen

Dos palancas de coste, la memoria en caché y el procesamiento por lotes

Un prefijo de petición marcado como reutilizable cuesta una fracción reducida del precio normal cuando se relee desde la caché, y un conjunto de peticiones no urgentes tratado por lotes cuesta menos que un tratamiento inmediato, dos reducciones que se acumulan entre sí y con los demás modificadores de precio.

Dos mecanismos reducen el coste de una petición a la API Messages sin cambiar su respuesta: la memoria en caché reutiliza un prefijo estable de una petición a otra, y el procesamiento por lotes agrupa peticiones no urgentes en un envío diferido.

La memoria en caché, una lectura más barata que una entrada normal

Marcar un bloque de contenido como reutilizable crea un punto de ruptura en la petición: todo lo que precede a ese punto puede releerse desde la caché en una llamada siguiente que comparta exactamente el mismo prefijo. Una lectura en caché cuesta una fracción reducida del precio de entrada normal para la práctica totalidad de los modelos actuales, la figura de esta lección da la tasa exacta con su fuente. La escritura inicial en la caché cuesta por el contrario más cara que la entrada normal, y se elige entre dos duraciones de conservación, cinco minutos o una hora, siendo la más larga la que más cuesta escribir. La caché se rentabiliza desde la primera relectura en conservación de cinco minutos, la duración por defecto, y solo a partir de la segunda relectura en conservación de una hora.

El procesamiento por lotes, un envío diferido a precio reducido

La API de procesamiento por lotes acepta un conjunto de peticiones independientes y las trata de forma diferida, con una reducción fija sobre los tokens de entrada y de salida, sea cual sea el modelo llamado, cifrada también en la figura de esta lección. Esta reducción conviene a un trabajo que no espera una respuesta inmediata: clasificar un lote de documentos, generar resúmenes en serie, o reconstruir un conjunto de pruebas. Los dos mecanismos se acumulan entre sí y con los demás modificadores de precio: un prefijo puesto en caché y luego releído en una petición enviada por lotes se beneficia de las dos reducciones a la vez.

El mismo prefijo estable que se beneficia de la caché también entra en el cálculo de la ventana de contexto antes del envío, puesto que marcar un bloque como reutilizable no cambia nada su peso en tokens.

import anthropic

client = anthropic.Anthropic()

instructions_stables = "Vous etes un assistant qui repond en une phrase. " * 200

reponse = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=100,
    system=[
        {
            "type": "text",
            "text": instructions_stables,
            "cache_control": {"type": "ephemeral"},
        }
    ],
    messages=[{"role": "user", "content": "Resume ce texte en une phrase."}],
)

print("jetons ecrits en cache :", reponse.usage.cache_creation_input_tokens)
print("jetons lus depuis le cache :", reponse.usage.cache_read_input_tokens)

La primera llamada con ese prefijo paga la tarifa de escritura, y una segunda llamada que reutiliza exactamente el mismo texto antes del punto de ruptura paga la tarifa de lectura reducida. El campo usage de la respuesta distingue los dos contadores, lo que permite comprobar que la caché realmente se ha usado en lugar de suponerlo. Un prefijo demasiado corto, por debajo de un umbral mínimo que va de 512 a 4 096 tokens según el modelo llamado, nunca se pone en caché y no muestra ningún error, la petición simplemente parte con la tarifa normal.