Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Apvienošana tiešsaistē: līdz 10 000 pieprasījumiem bez faila

Nodarbība 4 no 16 Atjaunota 2026. gada 3. novembris Augstākais
Šajā lapā
  1. Viegls alternatīvs risinājums apvienošanai ar failiem
  2. Apvienošana ar failiem pret apvienošanu tiešsaistē
  3. Tiešsaistes uzdevuma izveide
  4. Praktisks piemērs: biļešu klasificēšana
  5. Kad izvēlēties katru pieeju
  6. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī: 3. novembra atjauninājums: files.download atgriež HTTP atbildi (httpx2.Response); pirms izsaukt .decode(), nolasiet tās saturu ar .read().

Viegls alternatīvs risinājums apvienošanai ar failiem

Apvienošana tiešsaistē (inline batching) ļauj iesniegt apvienotos pieprasījumus tieši API izsaukumā, izlaižot faila augšupielādes soli. Šī ir ideālā metode, ja tev ir mērens pieprasījumu apjoms (līdz 10 000) un vēlies vienkāršot savu darbplūsmu.

Apvienošana ar failiem pret apvienošanu tiešsaistē

Pirms pāriet pie koda, noskaidrosim atšķirības starp abām pieejām:

Kritērijs Apvienošana ar failiem Apvienošana tiešsaistē
Maksimālais apjoms 1 000 000 pieprasījumu 10 000 pieprasījumu
Priekšnosacījumi JSONL faila augšupielāde Nav
Soļi Augšupielāde + uzdevuma izveide Uzdevuma izveide (viens izsaukums)
Lietošanas gadījumi Ražošana, lieli apjomi Testēšana, prototipēšana, vidēji apjomi

Tiešsaistes uzdevuma izveide

Tā vietā, lai nodotu input_files, tu nodod parametru requests, kas satur tavu pieprasījumu sarakstu tieši:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Sagatavo tiešsaistes pieprasījumus
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Izveido uzdevumu ar tiešsaistes pieprasījumiem
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Koda atšķirība ir minimāla: requests= vietā input_files=. Pārējā darbplūsma (statusa izsekošana, rezultātu lejupielāde) ir identiska.

Praktisks piemērs: biļešu klasificēšana

Lūk, pilns piemērs klientu atbalsta biļešu klasificēšanai:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simulē atbalsta biļetes
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Veido tiešsaistes pieprasījumus
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Palaiž tiešsaistes apvienoto uzdevumu
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Gaida un iegūst rezultātus
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Analizē rezultātus
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Kad izvēlēties katru pieeju

Izšķirošais faktors nav tikai apjoms, bet gan tas, kā apvienošana iekļaujas tavā darbplūsmā. Prototipēšanas laikā tu testē uzvedni uz dažiem simtiem piemēru, pilnveido to un palaid atkārtoti. Starpposma JSONL faila rakstīšana katrā iterācijā tikai palēnina ciklu. Apvienošana tiešsaistē novērš šos traucējumus – tavs skripts ģenerē pieprasījumus reāllaikā, iesniedz tos tajā pašā izsaukumā, un tu vari veikt iterācijas minūšu laikā. Tāda pati loģika attiecas uz vieglām integrācijām, vienreizējiem analīzes skriptiem vai ikdienas apstrādi, kas nepārsniedz 10 000 pieprasījumu.

Apvienošana ar failiem pārņem vadību, tiklīdz apvienošana kļūst par ražošanas posma sastāvdaļu. Pirmkārt, mehāniski: pārsniedzot 10 000 pieprasījumu, tā ir vienīgā opcija. Bet vēl svarīgāk – strukturāli: augšupielādēts fails ir noturīgs artifacts. Tu vari to atkārtoti izmantot vairākiem uzdevumiem, glabāt kā ierakstu par to, kas tieši tika iesniegts, un skaidri nodalīt sagatavošanas soli (kas veido, validē un versijē failu) no izpildes soļa (kas palaiž uzdevumu). Kad apvienotais uzdevums tiek palaists katru nakti ar klientu datiem, šī izsekojamība nav greznība; tā ir tas, kas ļauj atbildēt uz jautājumu „Ko mēs nosūtījām modelim 12. martā?” pat pēc sešiem mēnešiem.

Praksē daudzas komandas izmanto abus: tiešsaisti uzvednes izstrādes laikā, pēc tam pārejot uz apvienošanu ar failiem, industrializējot procesu. Tā kā kods rezultātu izsekošanai un iegūšanai paliek identisks, migrācija aprobežojas ar requests= aizstāšanu ar input_files=.

Galvenās atziņas

  • Apvienošana tiešsaistē novērš augšupielādes soli, nododot pieprasījumus tieši caur parametru requests
  • Robeža ir 10 000 pieprasījumu vienam tiešsaistes uzdevumam, pretstatā 1 miljonam apvienošanai ar failiem
  • Statusa izsekošana un rezultātu lejupielāde abiem režīmiem ir identiska
  • Dod priekšroku tiešsaistei prototipēšanai un mēreniem apjomiem; izmanto apvienošanu ar failiem liela mēroga ražošanai