Toegewezen capaciteit en geprovisioneerde doorvoer
Op deze pagina
Reserveer capaciteit in plaats van deze te delen
Geprovisioneerde doorvoer (Provisioned Throughput) vormt de technische ruggengraat van het Enterprise-aanbod van xAI. Het principe past in één zin: u reserveert toegewijde verwerkingscapaciteit voor uw Grok-modellen, waardoor uw prestaties niet langer afhangen van de wereldwijde belasting van het platform. De volledige waarde zit in deze onafhankelijkheid; inzicht hierin is essentieel om te bepalen of u deze functie wilt activeren.
Wat u tegenkomt zonder gereserveerde capaciteit
In de pay-as-you-go-modus delen uw verzoeken de infrastructuur met elke andere API-gebruiker. Meestal merkt u hier niets van. Het probleem doet zich voor tijdens pieken in de vraag, en uw operationele teams zullen de symptomen direct herkennen. De responstijden nemen toe, maar erger nog: ze worden variabel. Dit is veel schadelijker dan constante traagheid, omdat een interface die is ontworpen voor een responstijd van twee seconden slecht functioneert wanneer deze soms acht seconden duurt. Vervolgens treden er rate-limiting-fouten op, geretourneerd met code 429. Uw applicatie moet dan retry-mechanismen afhandelen, wat de door de gebruiker ervaren latentie verder verhoogt. Incidentele beschikbaarheidsproblemen kunnen tot slot de service treffen precies op het moment dat de vraag het grootst is.
Geprovisioneerde doorvoer elimineert deze blootstelling. Uw verzoeken worden verwerkt op capaciteit die specifiek voor u is gereserveerd, met gegarandeerde prioriteit en veel consistentere responstijden. U verschuift niet alleen een kostenpost; u verschuift een risico: het prestatierisico verplaatst zich van uw applicatie naar de provider.
Denken in eenheden
U koopt capaciteit in eenheden, een concept dat in elke volgende les terugkomt. Elke eenheid komt overeen met een toewijzing van tokens per minuut (TPM) voor een bepaald model. Cruciaal voor uw berekeningen: input-eenheden, die uw prompts verwerken, en output-eenheden, die de antwoorden genereren, worden afzonderlijk aangeschaft.
Het prijsoverzicht is echter verrassend eenvoudig: $10 per eenheid per dag, ongeacht het model. De prijs per eenheid varieert nooit tussen modellen, maar de TPM die een eenheid levert wel. Een zeer krachtig model levert u weinig op, een lichter model veel meer. Dit verschil zorgt voor de aanzienlijke kostenverschillen die we over twee lessen zullen kwantificeren.
Bepalen of u dit nodig heeft
Een productieapplicatie met strikte latentievereisten past precies bij het probleem dat dit mechanisme oplost; er is dus weinig reden om te aarzelen. Geautomatiseerde ondersteuning bevindt zich in dezelfde situatie, met een extra argument: elke seconde wachttijd vertaalt zich in een afbreking of een inkomend gesprek dat u op een andere manier moet afhandelen. Real-time verwerking van grote, voorspelbare volumes is eveneens een goede kandidaat; voorspelbaarheid maakt dimensionering hier betrouwbaar. Meer in het algemeen rechtvaardigt elke applicatie waarbij onderbreking hoge kosten met zich meebrengt, uitgedrukt in dollars of reputatie, het reserveren van capaciteit.
De omgekeerde redenering is even nuttig om toe te passen. Een nachtelijk batchproces zonder tijdsbeperkingen heeft niets aan gereserveerde capaciteit: of het nu om 03:00 uur of om 04:00 uur klaar is, maakt geen verschil, en pay-as-you-go blijft eerlijk gezegd zuiniger. Dezelfde conclusie geldt voor prototyping en lage volumes. Als u nog twijfelt, stel uzelf dan voorafgaand aan een verbintenis van 30 dagen een specifieke vraag: hoeveel uur per dag draaide deze service de afgelopen 30 dagen daadwerkelijk op volle capaciteit? Een eerlijk antwoord beslecht het debat bijna altijd.
Belangrijkste punten
- Geprovisioneerde doorvoer reserveert toegewijde capaciteit tegen $10 per eenheid per dag
- De minimale verbintenis bedraagt 30 dagen
- Een SLA van 99,9% is contractueel gegarandeerd
- De prestaties zijn constant, ongeacht de wereldwijde belasting van het platform
- Pay-as-you-go blijft de voorkeur hebben voor lage volumes en prototyping