Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Batch API a kontrolný zoznam pre nasadenie do prevádzky

Lekcia 12 z 12 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Alternatíva Batch API: Zľava 20 % na tokeny
  2. Porovnanie prístupov
  3. Kontrolný zoznam pre nasadenie do prevádzky
  4. Odporúčaná architektúra
  5. Kľúčové poznatky
  6. Otestuj si svoje vedomosti

Alternatíva Batch API: Zľava 20 % na tokeny

Keď nie je spracovanie v reálnom čase obmedzujúcim faktorom, Batch API od xAI ponúka 20 % zľavu na všetky tokeny pre spôsobilé textové modely (od grok-4.3 po grok-4.7 k 2. novembru 2026, podľa cenníka Batch API od xAI). Namiesto odosielania požiadaviek jednu po druhej a manažovania súbežnosti odovzdáš svoje požiadavky v dávkach prostredníctvom API alebo v súbore JSONL a výsledky získaš po dokončení spracovania – zvyčajne do 24 hodín. Dávkové požiadavky sa nezapočítavajú do limitov rýchlosti. Kurz Batch API: Hromadné spracovanie podrobne opisuje tento pracovný postup.

Kedy použiť Batch API

  • Spracovanie katalógov produktov (tisíce popisov)
  • Hromadná klasifikácia tiketov podpory
  • Generovanie zhrnutí pre dokumentovú základňu
  • Akákoľvek úloha, kde je oneskorenie niekoľkých hodín prijateľné

Kedy zostať pri klasickej asynchrónnej komunikácii

  • Interaktívny chatbot (odpoveď v reálnom čase)
  • Pipeline, kde každý krok závisí od predchádzajúceho
  • Monitorovanie a alerty v reálnom čase
  • Akýkoľvek prípad, kde je oneskorenie Batch API neprijateľné

Porovnanie prístupov

Kritérium Async + Semaphore Batch API
Náklady Štandardná sadzba -20 % na tokeny pre spôsobilé modely
Latencia Sekundy až minúty Minúty až hodiny
Kontrola Reálny čas, okamžité chyby Výsledky po dokončení spracovania, chyby na úrovni požiadavky
Zložitosť Semaphore, backoff, gather Dávka požiadaviek alebo súbor JSONL, sledovanie počítadla
Limity rýchlosti Podlieha RPM/TPM Spravované xAI

Kontrolný zoznam pre nasadenie do prevádzky

Pred nasadením svojho systému asynchrónnych požiadaviek do prevádzky skontroluj každú položku v tomto zozname:

Konfigurácia

  • Časový limit je nastavený na 3600 sekúnd pre modely s usudzovaním
  • Semaphore je dimenzovaná na základe tvojich skutočných limitov rýchlosti (nie odhadov)
  • Exponenciálny backoff je implementovaný s jitterom pre chyby 429
  • API kľúče sa načítavajú z premenných prostredia, nikdy nie sú natvrdo zakódované v kóde
  • Hlavička x-grok-conv-id sa používa pre konverzácie s viacerými kolami

Spracovanie chýb

  • V asyncio.gather sa používa return_exceptions=True na izoláciu chýb
  • Chyby 429, časový limit a chyby pripojenia spúšťajú opakovanie
  • Chyby neplatnej požiadavky (BadRequestError) nespúšťajú opakovanie
  • Neúspešné požiadavky sú identifikované a môžu sa opakovať
  • Logy obsahujú typ chyby, číslo pokusu a oneskorenie opakovania

Monitorovanie

  • Počet spotrebovaných tokenov sa sleduje cez response.usage
  • Miera zásahu cache sa meria na overenie použitia x-grok-conv-id
  • Náklady sa odhadujú v reálnom čase pomocou cost_in_usd_ticks
  • Zostávajúce limity rýchlosti sa monitorujú na dynamické prispôsobenie semaphore

Výkon

  • Na dávky väčšie ako 100 požiadaviek sa používa chunking (rozdelenie na časti)
  • Medzivýsledky sa ukladajú medzi poddávkami
  • Pre dlho bežiace úlohy sa zobrazuje priebeh
  • Semaphore sa upravuje podľa použitého modelu (usudzovanie = nižšia hodnota)

Bezpečnosť

  • API kľúče nie sú vystavené v logoch ani chybových správach
  • Odpovede obsahujúce citlivé údaje sa spracúvajú v pamäti, nie sa zapisujú na disk
  • Vzdialené úložisko (store_messages) je pre dôverné údaje zakázané
  • use_encrypted_content je povolené, keď sa vyžaduje dôvernosť usudzovania

Odporúčaná architektúra

import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx

class GrokAsyncProcessor:
    def __init__(self, max_concurrent: int = 5):
        self.client = AsyncOpenAI(
            api_key=os.getenv("XAI_API_KEY"),
            base_url="https://api.x.ai/v1",
            timeout=httpx.Timeout(3600.0)
        )
        self.sem = Semaphore(max_concurrent)
        self.conv_id = str(uuid.uuid4())

    async def request(self, prompt: str, max_retries: int = 5) -> str:
        async with self.sem:
            for attempt in range(max_retries):
                try:
                    response = await self.client.chat.completions.create(
                        model="grok-4.5",
                        messages=[{"role": "user", "content": prompt}],
                        extra_headers={"x-grok-conv-id": self.conv_id}
                    )
                    return response.choices[0].message.content
                except RateLimitError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)
                except APITimeoutError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)

    async def batch(self, prompts: list[str]) -> list[str | Exception]:
        tasks = [self.request(p) for p in prompts]
        return await asyncio.gather(*tasks, return_exceptions=True)

Táto trieda zapuzdruje všetky vzory prebrané v tomto kurze: asynchrónny klient, semaphore, backoff, cache a spracovanie chýb. Poskytuje pevný východiskový bod pre tvoje produkčné projekty.

Kľúčové poznatky

  • Batch API ponúka 20 % zľavu na spôsobilé modely, ale ukladá oneskorenie spracovania
  • Vyber si medzi asynchrónnym spracovaním v reálnom čase a dávkovým spracovaním na základe tvojich obmedzení latencie
  • Kontrolný zoznam pre nasadenie do prevádzky pokrýva konfiguráciu, chyby, monitorovanie, výkon a bezpečnosť
  • Trieda GrokAsyncProcessor zapuzdruje všetky vzory z kurzu do jednej abstrakcie
  • Pred spustením hromadného spracovania vždy otestuj svoju konfiguráciu na malej dávke

Otestuj si svoje vedomosti

Async, limity, cache: produkčné vzory v piatich otázkach.

1. Kedy má async prednosť pred sync?

Odpoveď: Vždy pri spracovaní viacerých nezávislých požiadaviek: AsyncClient (alebo AsyncOpenAI) prekrýva čakanie na sieť – priepustnosť sa násobí bez násobenia vlákien.

2. Ako spracovať dávku bez dosiahnutia limitov?

Odpoveď: asyncio.gather pre paralelizmus, semaphore na obmedzenie súbežných požiadaviek a exponenciálny backoff pri HTTP 429 – rešpektujúc limity RPM/TPM v konzole.

3. Ako riešiť kontext viacerých kôl vo veľkom meradle?

Odpoveď: Prostredníctvom ukladania odpovedí na strane servera a opätovného použitia šifrovaného usudzovania – stav žije na strane API, tvoj kód sleduje iba identifikátory.

4. Čo potrebuješ vedieť o cache a časových limitoch?

Odpoveď: Cache konverzácie (x-grok-conv-id) urýchľuje nasledujúce vlákna a požiadavky na usudzovanie vyžadujú prispôsobené časové limity – dve nastavenia, ktoré transformujú produkciu.

5. Čo obsahuje produkčný kontrolný zoznam z kurzu?

Odpoveď: Zvládnutý async, rešpektované limity (semaphore + backoff), batch pre studený objem, nakonfigurované časové limity a opakovania, sledované náklady – robustnosť ako kontrolný zoznam.

Obmedzená súbežnosť, plánované zlyhania, stav na strane servera: asynchrónne vzory transformujú tvoje skripty na služby – finálny kontrolný zoznam ich uzamkne.