Dedizierte Kapazität und garantierte Durchsatzleistung
Auf dieser Seite
Kapazität reservieren statt zu teilen
Die garantierte Durchsatzleistung (Provisioned Throughput) bildet das technische Rückgrat des xAI-Enterprise-Angebots. Das Prinzip lässt sich in einem Satz zusammenfassen: Sie reservieren eine dedizierte Verarbeitungsleistung für Ihre Grok-Modelle, und Ihre Leistungsfähigkeit hängt nicht mehr von der globalen Auslastung der Plattform ab. Der gesamte Wert liegt in dieser Unabhängigkeit, und das Verständnis dafür ist entscheidend für die Entscheidung, diese Option zu aktivieren.
Die Herausforderung ohne reservierte Kapazität
Im Pay-as-you-go-Modus werden Ihre Anfragen gemeinsam mit allen anderen API-Nutzern auf derselben Infrastruktur verarbeitet. Die meisten der Zeit bemerken Sie dies nicht. Das Problem tritt jedoch bei Lastspitzen zutage, und Ihre Betriebsteams werden die Symptome sofort erkennen. Die Antwortzeiten verlängern sich, aber noch schlimmer: Sie werden variabel. Das ist weit schlimmer als konstante Langsamkeit, da eine Schnittstelle, die für eine Antwortzeit von zwei Sekunden ausgelegt ist, schlecht funktioniert, wenn sie manchmal acht Sekunden benötigt. Als Nächstes treten Fehler durch Rate Limiting auf, die mit dem Code 429 zurückgegeben werden, und Ihre Anwendung muss dann Wiederholungsversuche (Retries) durchführen, was die vom Nutzer wahrgenommene Latenz weiter erhöht. Schließlich können gelegentliche Verfügbarkeitsverschlechterungen den Service genau dann beeinträchtigen, wenn die Nachfrage am höchsten ist.
Die garantierte Durchsatzleistung eliminiert diese Exposition. Ihre Anfragen werden auf für Sie reservierter Kapazität verarbeitet, mit garantierter Priorität und deutlich konsistenteren Antwortzeiten. Sie verschieben nicht nur die Kosten, sondern auch das Risiko: Das Leistungsrisiko verlagert sich von Ihrer Anwendung auf den Anbieter.
In Einheiten denken
Sie erwerben Kapazität in Einheiten, und dieses Konzept wird in jeder folgenden Lektion wiederkehren. Jede Einheit entspricht einer Zuweisung von Token pro Minute (TPM) für ein bestimmtes Modell. Für Ihre Berechnungen entscheidend: Eingabe-Einheiten, die Ihre Prompts verarbeiten, und Ausgabe-Einheiten, die Antworten erzeugen, werden separat erworben.
Das Preisschema ist jedoch überraschend einfach: 10 $ pro Einheit pro Tag, unabhängig vom Modell. Der Einheitspreis variiert von einem Modell zum anderen nicht, doch die TPM, die eine Einheit bietet, schon. Ein sehr leistungsfähiges Modell bietet Ihnen wenig, ein leichteres Modell hingegen viel mehr, und dieser Unterschied führt zu den beträchtlichen Kostenunterschieden, die wir in zwei Lektionen quantifizieren werden.
Die Entscheidung, ob Sie sie benötigen
Eine Produktionsanwendung mit strengen Latenzanforderungen passt genau auf das Problem, das dieser Mechanismus löst, sodass es wenig Grund zum Zögern gibt. Automatisierte Support-Systeme befinden sich in derselben Situation, mit einem zusätzlichen Argument: Jede Sekunde Wartezeit bedeutet einen Abbruch oder einen eingehenden Anruf, den Sie auf andere Weise bearbeiten müssen. Die Echtzeitverarbeitung großer, vorhersehbarer Volumina ist ebenfalls ein guter Kandidat; die Vorhersehbarkeit macht die Dimensionierung hier zuverlässig. Allgemein gerechtfertigt die Reservierung von Kapazität jede Anwendung, bei der eine Unterbrechung hohe Kosten nach sich zieht, die in Dollar oder Reputation gemessen werden können.
Die umgekehrte Schlussfolgerung ist ebenso nützlich anzuwenden. Ein nächtlicher Batch-Prozess ohne Zeitvorgaben gewinnt nichts durch reservierte Kapazität: Ob er um 3:00 Uhr oder um 4:00 Uhr morgens fertig wird, ändert nichts, und Pay-as-you-go bleibt ehrlicherweise wirtschaftlicher. Dasselbe gilt für Prototypen und geringe Volumina. Wenn Sie noch zögern, stellen Sie sich vor der Bindung an 30 Tage eine spezifische Frage: Wie viele Stunden pro Tag hat dieser Service in den letzten 30 Tagen tatsächlich unter Volllast gearbeitet? Eine ehrliche Antwort klärt den Streit fast immer auf.
Kernaussagen
- Die garantierte Durchsatzleistung reserviert dedizierte Kapazität zu 10 $ pro Einheit pro Tag.
- Die Mindestlaufzeit beträgt 30 Tage.
- Eine SLA von 99,9 % ist vertraglich garantiert.
- Die Leistung ist konstant, unabhängig von der globalen Plattformauslastung.
- Pay-as-you-go bleibt für geringe Volumina und Prototypen vorzuziehen.