Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Batching Inline: Sa' 10K Talba Mingħajr Fajl

Lezzjoni 4 / 16 Aġġornat 3 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. L-Alternattiva Ħafifa għall-Batching tal-Fajls
  2. Batching tal-Fajls vs Batching Inline
  3. Ħolqien ta’ Job Inline
  4. Eżempju Prattiku: Klassifikazzjoni tat-Tickets
  5. Meta Tagħżel Kull Approċċ
  6. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru, 2026: Aġġornament tat-3 ta’ Novembru: files.download tirritorna tweġiba HTTP (httpx2.Response); aqra l-kontenut tagħha b’.read() qabel ma ssejjaħ .decode().

L-Alternattiva Ħafifa għall-Batching tal-Fajls

Il-batching inline jippermettilek tibgħat talbiet batch direttament fis-sejħa tal-API, u taqbeż il-pass tat-tlugħ tal-fajl. Dan huwa l-metodu ideali meta għandek volum moderat ta’ talbiet (sa 10,000) u trid tissimplifika l-pipeline tiegħek.

Batching tal-Fajls vs Batching Inline

Qabel ma nidħlu fil-kodiċi, ejja niċċaraw id-differenzi bejn iż-żewġ approċċi:

Kriterju Batching tal-Fajls Batching Inline
Volum massimu 1,000,000 talba 10,000 talba
Prerekwiżiti Ittella' fajl JSONL L-ebda wieħed
Passi Ittella' + Oħloq Job Oħloq Job (sejħa waħda)
Każijiet ta' użu Produzzjoni, volumi kbar Ittestjar, prototipar, volumi medji

Ħolqien ta’ Job Inline

Minflok tgħaddi input_files, tgħaddi parametru requests li fih il-lista tat-talbiet tiegħek direttament:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Ipprepara talbiet inline
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Oħloq il-job b'talbiet inline
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Id-differenza fil-kodiċi hija minima: requests= minflok input_files=. Il-bqija tal-fluss tax-xogħol (traċċar tal-istatus, tniżżir tar-riżultati) huwa identiku.

Eżempju Prattiku: Klassifikazzjoni tat-Tickets

Hawnhekk hemm eżempju sħiħ ta’ klassifikazzjoni ta’ tickets tas-sostenn lill-klijenti:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simula tickets tas-sostenn
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Ibni talbiet inline
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Nedda l-batch inline
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Stenna u rkupra r-riżultati
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Analizza r-riżultati
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Meta Tagħżel Kull Approċċ

Il-fattur deċiżiv mhux biss il-volum; huwa fejn il-batching jaqbel fil-fluss tax-xogħol tiegħek. Waqt il-prototipar, tittestja prompt fuq ftit mijiet ta’ eżempji, tirfinah, u terġa’ tmexxih. Il-kitba ta’ fajl intermedjarju JSONL f’kull iterazzjoni tbaxxi biss il-veloċità taċ-ċiklu. Il-batching inline jneħħi din il-frizzjoni—l-iskritt tiegħek jiġġenera t-talbiet waqt it-tħaddim, jibgħathom fl-istess sejħa, u titerazzjoni tiegħek tieħu minuti. L-istess loġika tapplika għal integrazzjonijiet ħfief, skripts ta’ analiżi darba biss, jew ipproċessar ta’ kuljum li jibqa’ taħt it-10,000 talba.

Il-batching tal-fajls jieħu l-inizjattiva ladarba l-batching isir rabta fil-produzzjoni. L-ewwel, mekkanikament: lil hinn minn 10,000 talba, hija l-unika għażla. Iżda l-aktar importanti, strutturalment: fajl imtella’ huwa artifatt durabbli. Tista’ terġa’ tużah għal ħafna jobs, iżommu bħala rekord eżatt ta’ x’inhu ġie sottomess, u tissepara b’mod nadif il-pass tal-preparazzjoni (li jibni, jivvalida, u jivverżjona l-fajl) mill-pass tal-eżekuzzjoni (li jneddi l-job). Meta job batch jimxi kull lejl fuq data tal-klijenti, din it-traċċabbiltà mhix lussu; hija dak li jħallik twieġeb il-mistoqsija, “X’ibgħatna lill-mudell fit-12 ta’ Marzu?” sitt xhur wara.

Fil-prattika, ħafna timijiet jużaw it-tnejn: inline waqt l-iżvilupp tal-prompt, imbagħad ibiddlu għal batching tal-fajls meta jindustrializzaw. Peress li l-kodiċi għat-traċċar u l-irkupru tar-riżultati jibqa’ identiku, il-migrazzjoni hija limitata li tissostitwixxi requests= b’input_files=.

Punti Ewlenin

  • Il-batching inline jneħħi l-pass tat-tlugħ billi tgħaddi t-talbiet direttament permezz tal-parametru requests
  • Limitu ta’ 10,000 talba għal kull job inline, meta mqabbel ma’ miljun għall-batching tal-fajls
  • It-traċċar tal-istatus u t-tniżżir tar-riżultati huma identiċi għaż-żewġ modalitajiet
  • Ippreferixxi l-inline għall-prototipar u volumi moderati; uża l-batching tal-fajls għall-produzzjoni fuq skala kbira