LLM-Caching, Batching und Routing

LLM-Caching, Batching und Routing wirken auf je einen anderen Faktor der Kosten einer Anfrage: Prompt-Caching verbilligt den wiederholten Anfang der Eingabe, Batching halbiert bei OpenAI, Anthropic und Google den Satz für Arbeit, die nicht sofort beantwortet werden muss, und Routing zwischen Modellen wählt je Anfrage ein günstigeres Modell. Ein Cache in der Anwendung spart die Anfrage ganz. Welcher Hebel greift, entscheidet die Arbeitslast: ein stabiles Präfix, eine Wartezeit, die der Nutzer hinnimmt, oder Anfragen, die ein kleineres Modell gleich gut beantwortet.

So funktioniert es

Die Sätze für gecachte und Batch-Token selbst stehen unter Token, Anfragen und Kontext; hier geht es darum, wann sie greifen.

Prompt-Caching bei den Anbietern. Alle drei Anbieter cachen nur ein exakt gleiches Präfix, den Anfang der Anfrage bis zu einem Haltepunkt. Für das Modell ist der gecachte Teil laut Google einfach der Anfang des Prompts: Caching ändert den Preis, nicht die Antwort.

OpenAI und Anthropic verlängern die Lebensdauer bei jedem Treffer ohne neue Schreibgebühr. OpenAI hält Caches innerhalb einer Organisation und Verarbeitungsregion, Anthropic auf der Claude API innerhalb eines Workspace.

Cache in der Anwendung. Ein Cache vor dem Modell beantwortet eine wiederholte Anfrage aus einer gespeicherten Antwort; ein exakter Cache vergleicht den Prompt Zeichen für Zeichen, ein semantischer Cache seine Bedeutung über Embeddings. Azure API Management dokumentiert die semantische Variante: Jede Abfrage ruft ein Embedding-Deployment auf, Antworten liegen in Azure Managed Redis, ein Schwellenwert legt fest, wie ähnlich ein Prompt sein muss, und vary-by trennt den Cache, etwa je Abonnement. Das kostet ein Embedding je Anfrage und den Cache-Speicher (Embedding-Kosten, Retrieval und Vektordatenbanken) und spart bei jedem Treffer den Modellaufruf.

Batch. OpenAI, Anthropic und Google berechnen asynchrone Batch-Aufträge zum halben Preis. OpenAI erlaubt nur eine Frist von 24 Stunden, mit eigenen, höheren Ratenlimits; nach Ablauf werden unfertige Anfragen abgebrochen, fertige berechnet. Anthropic schließt die meisten Batches binnen einer Stunde ab, lässt sie nach 24 Stunden verfallen und berechnet fehlerhafte, abgebrochene und verfallene Anfragen nicht. Cache-Multiplikatoren und Batch-Rabatt gelten dort zusammen, Cache-Treffer im Batch aber nur nach Möglichkeit, daher empfiehlt Anthropic für geteilten Kontext den Cache mit einer Stunde. Google nennt 24 Stunden als Zielzeit und lässt einen Auftrag nach 48 Stunden ohne Ergebnis verfallen. Über die Clouds bietet Amazon Bedrock Batch für ausgewählte Modelle 50 Prozent unter On-Demand an, Azure OpenAI 50 Prozent unter Global Standard binnen 24 Stunden.

Routing. Routing kann eigenen Regeln der Anwendung folgen, etwa je Funktion oder Länge der Eingabe, oder einem Router der Anbieter. Intelligent Prompt Routing in Amazon Bedrock schätzt je Anfrage die Antwortqualität der Modelle einer Familie und wählt eines, mit einem Ersatzmodell und einem Schwellenwert für den Qualitätsabstand; die Antwort nennt das genutzte Modell. AWS weist darauf hin, dass dieses Routing nur für englische Prompts optimiert ist, und berechnete am 2026-10-16 ohne Regionsangabe 1 USD je 1.000 Anfragen. Der Model Router in Microsoft Foundry wird wie ein Modell bereitgestellt, mit den Modi Balanced, Cost und Quality und einer wählbaren Teilmenge von Modellen; das Feld model der Antwort nennt das tatsächlich genutzte Modell. Seine Kosten sind die der genutzten Modelle plus eine Routergebühr auf die Eingabetoken, die Microsofts Anleitung nicht erwähnt; die Azure Retail Prices API nannte am 2026-10-16 für Sweden Central 0,14 USD je Million Token global und 0,154 USD in der Data Zone, gültig seit 2026-01-01.

Was es für Ihre Kosten bedeutet

Die Reihenfolge folgt dem Eingriff: Caching ändert die Antwort nicht und kommt zuerst, Batch verschiebt nur den Zeitpunkt, Routing wechselt das Modell und braucht eine Qualitätsprüfung. Die Nutzungsdaten zeigen jeden Hebel getrennt: Zähler für Cache-Lesen und -Schreiben, einen eigenen Batch-Satz und das Modell, das eine geroutete Anfrage bedient hat (Nutzungsexporte der KI-Anbieter). Die Sätze je Modell stehen unter KI-Modellpreise und Preislisten; bei Agenten wirkt Caching auf Definitionen und Verlauf, die jede Runde erneut schickt (Kosten von LLM-Tool-Calls und Agentenschleifen).

Wo es schiefgeht

• Variable Daten am Anfang des Prompts. Jede Anfrage schreibt in den Cache, keine liest. Die Ursache: Zeitstempel oder Nutzerdaten stehen vor dem stabilen Teil. Anthropic rät zu einem Haltepunkt am Ende des statischen Präfixes, weil automatisches Caching sonst in dieselbe Falle tappt.
• Cache-Einträge, die niemand liest. Die Nutzungsdaten zeigen Schreib-, aber kaum Lesetoken. Die Ursache: Pausen länger als die Lebensdauer, parallele Anfragen vor der ersten Antwort (bei Anthropic ist ein Eintrag erst nutzbar, wenn die erste Antwort beginnt) oder Prompts unter der Mindestlänge, die Anthropic ohne Fehlermeldung ungecacht verarbeitet.
• Batch für Arbeit, die jetzt eine Antwort braucht. Nutzer warten, oder die Arbeit wandert zum vollen Preis zurück in synchrone Anfragen. Die Ursache: Batch nach dem Rabatt gewählt statt nach der Frist.
• Routing ohne Qualitätsprüfung. Die Kosten je Anfrage sinken, Folgeanfragen steigen. Die Ursache: Niemand vergleicht die Antworten. Microsoft rät, den Router zuerst gegen das bisherige Modell zu messen; automatische Updates tauschen die zugrunde liegenden Modelle samt Kosten, und Caching hilft nicht mehr, wenn aufeinanderfolgende Anfragen bei verschiedenen Modellen landen.
• Semantischer Cache ohne Trennung. Die Antwort für einen Kunden erreicht einen anderen. Die Ursache: kein vary-by je Nutzer oder Mandant.

Beispiel

Ab wann sich ein Cache-Eintrag lohnt, mit den Sätzen vom 2026-10-16, Anthropic über die Claude API; n ist die Zahl der Lesezugriffe, die ersten beiden Zeilen in Vielfachen des Eingabepreises, die letzte in USD je Million Token, ohne die Anfrage, die den Cache anlegt.

Mit dem Lesesatz 0,05 von gpt-6.1-sol, Claude Opus 5.5 und Sonnet 5.5 bleiben die Schwellen gleich.

Quellen

Gelesen am 2026-10-16. OpenAI Prompt-Caching, Batch API und Preise; Anthropic Prompt-Caching, Batch-Verarbeitung und Preise; Google Context Caching, Batch API und Preise der Gemini API; AWS Intelligent Prompt Routing und Preise von Amazon Bedrock; Microsoft Model Router, Model Router verwenden, Preise von Azure OpenAI, Azure Retail Prices API für Sweden Central, semantisches Caching in Azure API Management und Richtlinie für die semantische Cache-Abfrage.