Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Batch API ir gamybos kontrolinis sąrašas

Paskaita 12 iš 12 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. „Batch API“ alternatyva: 20 % nuolaida tokenams
  2. Požiūrių palyginimas
  3. Gamybos kontrolinis sąrašas
  4. Rekomenduojama architektūra
  5. Svarbiausi punktai
  6. Patikrink savo žinias

„Batch API“ alternatyva: 20 % nuolaida tokenams

Kai realaus laiko apdorojimas nėra būtinas, xAI „Batch API“ siūlo 20 % nuolaidą visiems tinkamų tekstinių modelių tokenams (nuo grok-4.3 iki grok-4.7 pagal 2026 m. lapkričio 2 d. duomenis, žr. xAI kainodarą batch API). Užuot siuntęs užklausas vieną po kitos ir valdęs lygiagretumą, tu pateiki savo užklausas grupėmis per API arba JSONL failu, o rezultatus gauni baigus apdorojimą – paprastai per 24 valandas. Grupinės užklausos neskaičiuojamos į dažnio ribas. Kursas „Batch API“: masinis apdorojimas išsamiai aprašo šį darbo eigą.

Kada naudoti „Batch API“

  • Produktų katalogų apdorojimas (tūkstančiai aprašymų)
  • Masinis pagalbos bilietų klasifikavimas
  • Santraukų generavimas dokumentų bazei
  • Bet kokia užduotis, kuriai priimtinas kelių valandų delsos laikas

Kada laikytis klasikinio asinchroninio metodo

  • Interaktyvus pokalbių robotas (realaus laiko atsakas)
  • Vamzdynas, kuriame kiekvienas žingsnis priklauso nuo ankstesnio
  • Realaus laiko stebėsena ir įspėjimai
  • Bet kuris atvejis, kai „Batch API“ delsa yra nepriimtina

Požiūrių palyginimas

Kriterijus Async + Semaphore Batch API
Kaina Standartinis tarifas -20 % tokenams tinkamiems modeliams
Delsa Nuo sekundžių iki minučių Nuo minučių iki valandų
Kontrolė Realaus laiko, momentinės klaidos Rezultatai baigus apdorojimą, klaidos kiekvienai užklausai
Sudėtingumas Semaphore, backoff, gather Užklausų grupė arba JSONL failas, skaitliuko sekimas
Dažnio ribos Taikomos RPM/TPM ribos Valdo xAI

Gamybos kontrolinis sąrašas

Prieš diegdami asinchroninių užklausų sistemą į gamybinę aplinką, patikrinkite kiekvieną šio sąrašo punktą:

Konfigūracija

  • Nustatyta 3600 sekundžių laiko limitas samprotavimo modeliams
  • „Semaphore“ dydis pritaikytas pagal faktines dažnio ribas (ne pagal įverčius)
  • Eksponentinis atsitraukimas (backoff) su trikdžiu (jitter) įgyvendintas 429 klaidoms
  • API raktai užkraunami iš aplinkos kintamųjų, niekada nekoduojami tiesiai kode
  • Naudojama antraštė x-grok-conv-id kelių ėjimų pokalbiams

Klaidų apdorojimas

  • asyncio.gather naudojamas parametras return_exceptions=True klaidoms izoliuoti
  • 429, laiko limito viršijimo ir ryšio klaidos inicijuoja kartojimą
  • Neteisingos užklausos klaidos (BadRequestError) neinicijuoja kartojimo
  • Nepavykusios užklausos identifikuojamos ir gali būti kartojamos
  • Žurnaluose įrašomas klaidos tipas, bandymo numeris ir kartojimo delsos laikas

Stebėsena

  • Sunaudotų tokenų skaičius stebimas per response.usage
  • Talpyklos pasiekimų rodiklis matuojamas norint patvirtinti x-grok-conv-id naudojimą
  • Išlaidos vertinamos realiuoju laiku naudojant cost_in_usd_ticks
  • Likusios dažnio ribos stebimos dinamiškam „semaphore“ reguliavimui

Našumas

  • Skaidymas į dalis (chunking) naudojamas grupėms, didesnėms nei 100 užklausų
  • Tarpiniai rezultatai išsaugomi tarp pogrupių
  • Ilgai trunkantiems darbams rodoma eiga
  • „Semaphore“ reguliuojamas pagal naudojamą modelį (samprotavimas = mažesnis)

Saugumas

  • API raktai nerodomi žurnaluose ar klaidų pranešimuose
  • Atsakymai, kuriuose yra konfidencialių duomenų, apdorojami operatyviojoje atmintyje, nerašomi į diską
  • Nuotolinė saugykla (store_messages) išjungta konfidencialiems duomenims
  • Įjungtas use_encrypted_content, kai reikalingas samprotavimo konfidencialumas

Rekomenduojama architektūra

import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx

class GrokAsyncProcessor:
    def __init__(self, max_concurrent: int = 5):
        self.client = AsyncOpenAI(
            api_key=os.getenv("XAI_API_KEY"),
            base_url="https://api.x.ai/v1",
            timeout=httpx.Timeout(3600.0)
        )
        self.sem = Semaphore(max_concurrent)
        self.conv_id = str(uuid.uuid4())

    async def request(self, prompt: str, max_retries: int = 5) -> str:
        async with self.sem:
            for attempt in range(max_retries):
                try:
                    response = await self.client.chat.completions.create(
                        model="grok-4.5",
                        messages=[{"role": "user", "content": prompt}],
                        extra_headers={"x-grok-conv-id": self.conv_id}
                    )
                    return response.choices[0].message.content
                except RateLimitError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)
                except APITimeoutError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)

    async def batch(self, prompts: list[str]) -> list[str | Exception]:
        tasks = [self.request(p) for p in prompts]
        return await asyncio.gather(*tasks, return_exceptions=True)

Ši klasė apima visus šiame kurse nagrinėtus šablonus: asinchroninis klientas, „semaphore“, atsitraukimas (backoff), talpykla ir klaidų apdorojimas. Ji suteikia tvirtą starto tašką tavo gamybiniams projektams.

Svarbiausi punktai

  • „Batch API“ siūlo 20 % nuolaidą tinkamiems modeliams, tačiau nustato apdorojimo delsą
  • Pasirink tarp realaus laiko asinchroninio metodo ir grupinio apdorojimo pagal savo delsos reikalavimus
  • Gamybos kontrolinis sąrašas apima konfigūraciją, klaidas, stebėseną, našumą ir saugumą
  • GrokAsyncProcessor klasė apjungia visus kurso šablonus vienoje abstrakcijoje
  • Visada išbandyk savo konfigūraciją su maža grupe prieš paleisdami masinį apdorojimą

Patikrink savo žinias

Async, ribos, talpykla: gamybos šablonai penkiuose klausimuose.

1. Kada async nusveria sync?

Atsakymas: Kai apdorojamos kelios nepriklausomos užklausos: „AsyncClient“ (arba „AsyncOpenAI“) persidengia tinklo laukimo laikais – našumas dauginasi nedauginant gijų.

2. Kaip apdoroti grupę nepažeidžiant ribų?

Atsakymas: „asyncio.gather“ lygiagretumui, „semaphore“ lygiagrečių užklausų ribojimui ir eksponentinis atsitraukimas esant HTTP 429 – gerbiant konsolės RPM/TPM ribas.

3. Kaip valdyti kelių ėjimų kontekstą dideliu mastu?

Atsakymas: Per serverio pusės atsakymų saugojimą ir pakartotinai naudojamą šifruotą samprotavimą – būsena lieka API pusėje, tavo kodas tik seka identifikatorius.

4. Ką reikia žinoti apie talpyklą ir laiko limitus?

Atsakymas: Pokalbių talpykla (x-grok-conv-id) pagreitina tolesnes temas, o samprotavimo užklausoms reikia pritaikytų laiko limitų – du nustatymai, kurie transformuoja gamybą.

5. Ką apima kurso gamybos kontrolinis sąrašas?

Atsakymas: Įvaldytas async, laikomasi ribų (semaphore + backoff), grupinis apdorojimas šaltam tūriui, sukonfigūruoti laiko limitai ir kartojimai, stebimos išlaidos – patikimumas kaip kontrolinis sąrašas.

Apribotas lygiagretumas, suplanuoti gedimai, serverio pusės būsena: asinchroniniai šablonai tavo scenarijus paverčia paslaugomis – galutinis kontrolinis sąrašas jas užrakina.