Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Pabeigts end-to-end konveijers

Nodarbība 7 no 12 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Daļu apvienošana
  2. Pilns Python konveijers
  3. Soli pa solim veidots cURL konveijers
  4. Kļūdu apstrāde ražošanas vidē
  5. Izmaksu optimizēšana
  6. Galvenās atziņas

Kurss atjaunināts 2026. gada 2. novembrī, balstoties uz xAI dokumentāciju: atlaide par partijas apstrādi ir 20 % atbilstošajiem teksta modeļiem (nevis 50 %), piemēri seko REST API un oficiālajam xai-sdk (client.batch.*; xAI partijas API neatbilst OpenAI formātam, tāpēc OpenAI SDK nav piemērojams), un Responses API ir prioritārs pār Chat Completions, kas xAI ir novecojis galapunkts. Avoti: Batch API · REST Reference · Batch Pricing.

Daļu apvienošana

Iepriekšējās nodarbībās katrs solis tika aplūkots atsevišķi. Šajā nodarbībā mēs tos apvienojam vienotā konveijerā – no datu sagatavošanas līdz rezultātu apstrādei. Rezultātā tev būs skripts, ko vari pielāgot savam lietojumam.

Pilns Python konveijers

import json
import time

from xai_sdk import Client

client = Client()  # atslēga tiek nolasīta no XAI_API_KEY

# --- 1. solis: datu sagatavošana ---
documents = [
    {"id": f"doc-{i}", "text": f"Dokumenta saturs {i}..."}
    for i in range(100)
]

# --- 2. solis: JSONL faila rakstīšana ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Apkopojiet divos teikumos."},
                    {"role": "user", "content": doc["text"]},
                ],
                "max_output_tokens": 200,
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

# --- 3. solis: faila augšupielāde ---
with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")

# --- 4. solis: partijas izveide no faila (tagad tas ir noslēgts) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Partija izveidota: {batch.batch_id}")

# --- 5. solis: gaidīt, līdz apstrāde pabeigta ---
while True:
    batch = client.batch.get(batch_id=batch.batch_id)
    etat = batch.state
    if batch.cancel_by_xai_message:
        raise RuntimeError(f"Partiju atcēla xAI: {batch.cancel_by_xai_message}")
    if etat.num_requests > 0 and etat.num_pending == 0:
        break
    print(f"{etat.num_success + etat.num_error}/{etat.num_requests} pieprasījumi apstrādāti")
    time.sleep(300)  # ik pēc 5 minūtēm

# --- 6. solis: rezultātu iegūšana, lapa pa lapai ---
resultats, echecs = {}, []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch.batch_id, limit=100, pagination_token=jeton
    )
    for r in page.succeeded:
        resultats[r.batch_request_id] = r.response.content
    echecs.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

with open("batch_results.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} rezultāti, {len(echecs)} kļūmes")
print("Kopējās izmaksas: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Trīs detaļas ir īpaši svarīgas. Apturēšanas nosacījumam ir jābūt num_requests > 0, jo partija, kas izveidota no faila, tiek lasīta fonā: tūlīt pēc izveides tās skaitītāji vēl var būt nulles vērtībā. Lauks cancel_by_xai_message signalizē par xAI veiktu atcelšanu, piemēram, nederīgas rindas dēļ. Un izmaksas ir izteiktas tikos – viena dolāra desmitmiljardajās daļās.

Soli pa solim veidots cURL konveijers

Ja dod priekšroku komandrindai, lūk, cURL ekvivalents (izmantojot jq, lai nolasītu atbildes):

# 1. Augšupielādēt JSONL failu
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl" | jq -r '.id')
echo "Fails: $FILE_ID"

# 2. Izveidot partiju no faila
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Partija: $BATCH_ID"

# 3. Nolasīt skaitītājus
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
  -H "Authorization: Bearer $XAI_API_KEY" | jq '.state'

# 4. Iegūt pirmo rezultātu lapu
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
  -H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json

Lai iegūtu nākamās lapas, pievieno &pagination_token=… ar iepriekšējās lapas atgriezto vērtību.

Kļūdu apstrāde ražošanas vidē

Stabils konveijers nošķir trīs kļūdu veidus:

Iesniegšanas kļūdas: faila augšupielāde vai partijas izveide neizdodas. Pārejošas kļūdas (noildze, ātruma ierobežojums, servera kļūda) atkārto ar pieaugošu aizturi: 1 s, 2 s, 4 s, 8 s.

Apstrādes kļūdas: daži pieprasījumi partijas ietvaros neizdodas. Tie parādās page.failed kopā ar to ziņojumu; atkārtoti iesniedz tikai tos jaunā partijā.

Noildze un termiņa beigas: 24 stundu logs ir orientējošs, nevis garantēts. Neatlaidīgs ir termiņš (expire_time): pēc šī brīža rezultāti vairs nav pieejami. Iegūsti tos, tiklīdz tie pienāk, nevis visus vienlaikus beigās.

# Neizdevušies pieprasījumi: identificē tos, lai atkārtoti iesniegtu jaunā partijā
for r in echecs:
    print(f"Kļūme: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}

Izmaksu optimizēšana

Ietaupījumi uzkrājas, izmantojot četrus sviras punktus. Modeļa izvēle ir pirmā un tālu visspēcīgākā: pēc standarta tarifa 2026. gada 2. novembrī grok-4.3 maksā 1,25 USD par miljonu ievades tokenus un 2,50 USD par izvades tokeniem, savukārt grok-4.7 – attiecīgi 2 USD un 6 USD (uzvednēm, kas īsākas par 200 000 tokeniem). Klasifikācijai vai īsai ekstrakcijai bieži vien pietiek ar vieglāko modeli, un 20 % partijas atlaide attiecas uz abiem. Nākamais ir atbildes garums: max_output_tokens novērš maksāšanu par nevajadzīgi gariem izvadiem – klasifikācijai pietiek ar dažiem tokeniem. Uzvednes: izsvītrojot desmit tokenus no uzvednes, kas atkārtojas 50 000 reižu, ietaupi 500 000 ievades tokenus. Visbeidzot, kešatmiņa: xAI automātiski kešo identiskus pieprasījumu sākumus, un partijas atlaide attiecas arī uz tokeniem, kas pasniegti no kešatmiņas; tāpēc kopīgas instrukcijas izvieto katra pieprasījuma sākumā, pirms mainīgās daļas.

Galvenās atziņas

  • Pilns konveijers ietver sešus soļus: sagatavošana, JSONL, augšupielāde, izveide, uzraudzība, iegūšana
  • Partija, kas izveidota no faila, tiek lasīta fonā: pirms secini, ka tā ir pabeigta, pagaidi, līdz num_requests > 0
  • Apstrādā trīs kļūdu veidus: iesniegšana, apstrāde, noildze un termiņa beigas
  • Iegūsti un saglabā rezultātus, tiklīdz tie pienāk, pirms iestājas expire_time
  • Modeļa izvēle, izvades garums, īsas uzvednes un kopīgi prefiksi maksimāli palielina ietaupījumus