Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Batch API i kontrolni popis za produkciju

Lekcija 12 od 12 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Alternativa Batch API-ja: 20 % uštede na tokenima
  2. Usporedba pristupa
  3. Kontrolni popis za produkciju
  4. Preporučena arhitektura
  5. Ključne točke
  6. Provjeri svoje znanje

Alternativa Batch API-ja: 20 % uštede na tokenima

Kada obrada u stvarnom vremenu nije obavezna, xAI-jev Batch API nudi smanjenje cijene od 20 % za sve tokene kod podržanih tekstualnih modela (od grok-4.3 do grok-4.7 zaključno s 2. studenog 2026., prema cjeniku xAI za batch). Umjesto slanja zahtjeva jedan po jedan i upravljanja konkurentnošću, zahtjeve šalješ u serijama putem API-ja ili u JSONL datoteci, a rezultate dohvaćaš kako se obrada završava – obično unutar 24 sata. Batch zahtjevi ne ulaze u ograničenja stope (rate limits). Tečaj Batch API: Bulk Processing detaljno opisuje tijek rada.

Kada koristiti Batch API

  • Obrada kataloga proizvoda (tisuće opisa)
  • Masovna klasifikacija tiketa za podršku
  • Generiranje sažetaka za bazu dokumenata
  • Bilo koji zadatak gdje je kašnjenje od nekoliko sati prihvatljivo

Kada se držati klasičnog asinkronog pristupa

  • Interaktivni chatbot (odgovor u stvarnom vremenu)
  • Pipeline gdje svaki korak ovisi o prethodnom
  • Nadzor i alerti u stvarnom vremenu
  • Bilo koji slučaj gdje je kašnjenje Batch API-ja neprihvatljivo

Usporedba pristupa

Kriterij Async + Semaphore Batch API
Trošak Standardna stopa -20 % na tokene za podržane modele
Latencija Sekunde do minute Minute do sati
Kontrola Stvarno vrijeme, trenutne greške Rezultati po završetku obrade, greške po zahtjevu
Složenost Semaphore, backoff, gather Serija zahtjeva ili JSONL datoteka, praćenje brojača
Ograničenja stope Podliježe RPM/TPM Upravlja xAI

Kontrolni popis za produkciju

Prije nego što svoj sustav asinkronih zahtjeva uvedeš u produkciju, provjeri svaku točku na ovom popisu:

Konfiguracija

  • Timeout je postavljen na 3600 sekundi za modele za rezoniranje
  • Semaphore je dimenzioniran prema tvojim stvarnim ograničenjima stope (ne procjenama)
  • Eksponencijalni backoff implementiran je s jitterom za greške 429
  • API ključevi učitavaju se iz varijabli okruženja, nikad nisu hardkodirani u kodu
  • Zaglavlje x-grok-conv-id koristi se za razgovore u više koraka

Rukovanje greškama

  • return_exceptions=True koristi se u asyncio.gather za izolaciju grešaka
  • Greške 429, timeout i greške veze pokreću ponovni pokušaj
  • Greške neispravnog zahtjeva (BadRequestError) ne pokreću ponovni pokušaj
  • Neuspjeli zahtjevi identificiraju se i mogu se ponoviti
  • Logovi uključuju vrstu greške, broj pokušaja i kašnjenje prije ponovnog pokušaja

Nadzor

  • Broj potrošenih tokena prati se putem response.usage
  • Stopa pogodaka u cacheu mjeri se radi validacije korištenja x-grok-conv-id
  • Troškovi se procjenjuju u stvarnom vremenu s cost_in_usd_ticks
  • Preostala ograničenja stope prate se radi dinamičkog prilagođavanja semaphorea

Performanse

  • Chunking se koristi za serije veće od 100 zahtjeva
  • Međurezultati se spremaju između pod-serija
  • Napredak se prikazuje za dugotrajne zadatke
  • Semaphore se prilagođava ovisno o korištenom modelu (rezoniranje = niže)

Sigurnost

  • API ključevi nisu izloženi u logovima ili porukama o greškama
  • Odgovori koji sadrže osjetljive podatke obrađuju se u memoriji, ne zapisuju se na disk
  • Pohrana na udaljenoj lokaciji (store_messages) onemogućena je za povjerljive podatke
  • use_encrypted_content omogućeno je kada je potrebna povjerljivost rezoniranja

Preporučena arhitektura

import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx

class GrokAsyncProcessor:
    def __init__(self, max_concurrent: int = 5):
        self.client = AsyncOpenAI(
            api_key=os.getenv("XAI_API_KEY"),
            base_url="https://api.x.ai/v1",
            timeout=httpx.Timeout(3600.0)
        )
        self.sem = Semaphore(max_concurrent)
        self.conv_id = str(uuid.uuid4())

    async def request(self, prompt: str, max_retries: int = 5) -> str:
        async with self.sem:
            for attempt in range(max_retries):
                try:
                    response = await self.client.chat.completions.create(
                        model="grok-4.5",
                        messages=[{"role": "user", "content": prompt}],
                        extra_headers={"x-grok-conv-id": self.conv_id}
                    )
                    return response.choices[0].message.content
                except RateLimitError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)
                except APITimeoutError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)

    async def batch(self, prompts: list[str]) -> list[str | Exception]:
        tasks = [self.request(p) for p in prompts]
        return await asyncio.gather(*tasks, return_exceptions=True)

Ova klasa obuhvaća sve obrasce obrađene u ovom tečaju: asinkroni klijent, semaphore, backoff, cache i rukovanje greškama. Pruža čvrstu polaznu točku za tvoje projekte u produkciji.

Ključne točke

  • Batch API nudi 20 % popusta na podržane modele, ali nameće kašnjenje u obradi
  • Odaberi između asinkronog rada u stvarnom vremenu i batcha ovisno o svojim ograničenjima latencije
  • Kontrolni popis za produkciju pokriva konfiguraciju, greške, nadzor, performanse i sigurnost
  • Klasa GrokAsyncProcessor objedinjuje sve obrasce iz tečaja u jednu apstrakciju
  • Uvijek testiraj svoju konfiguraciju s malom serijom prije pokretanja masovne obrade

Provjeri svoje znanje

Async, ograničenja, cache: obrasci za produkciju u pet pitanja.

1. Kada async pobjeđuje sync?

Odgovor: Kad god obrađuješ više neovisnih zahtjeva: AsyncClient (ili AsyncOpenAI) preklapa čekanja na mreži – propusnost se množi bez množenja niti.

2. Kako obraditi seriju a da ne udariš u ograničenja?

Odgovor: asyncio.gather za paralelizam, semaphore za ograničavanje istodobnih zahtjeva i eksponencijalni backoff na HTTP 429 – poštujući RPM/TPM ograničenja iz konzole.

3. Kako rukovati kontekstom u više koraka u velikom obujmu?

Odgovor: Kroz pohranu odgovora na strani poslužitelja i ponovno korištenje šifriranog rezoniranja – stanje živi na strani API-ja, tvoj kod samo prati identifikatore.

4. Što trebaš znati o cacheu i timeoutovima?

Odgovor: Cache razgovora (x-grok-conv-id) ubrzava praćene niti, a zahtjevi za rezoniranje zahtijevaju prilagođene timeoutove – dvije postavke koje transformiraju produkciju.

5. Što sadrži kontrolni popis za produkciju iz tečaja?

Odgovor: Savladan async, poštovana ograničenja (semaphore + backoff), batch za hladni obujam, konfigurirani timeoutovi i ponovni pokušaji, praćeni troškovi – robusnost kao kontrolni popis.

Ograničena konkurentnost, planirani kvarovi, stanje na strani poslužitelja: async obrasci transformiraju tvoje skripte u usluge – konačni kontrolni popis ih učvršćuje.