Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Batchú Inlíne: Suas le 10K Iarratas Gan Comhad

Ceacht 4 as 16 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. An Rogha Éadrom in Ionad Batchú Comhad
  2. Batchú Comhad vs. Batchú Inlíne
  3. Post Inlíne a Chruthú
  4. Sampla Oibre: Aicmiú Ticéad
  5. Cathain an Cur Chuige Sin nó an Ceann Eile a Roghnú
  6. Príomhphointí

Nuashonraithe an 3 Samhain, 2026: Nuashonrú an 3 Samhain: Tugann files.download freagra HTTP (httpx2.Response) ar ais; léigh a bhfuil ann le .read() sula nglaoifeá ar .decode().

An Rogha Éadrom in Ionad Batchú Comhad

Ceadaíonn batchú inlíne duit iarratais bhaisc a chur isteach go díreach sa ghlao API, ag scipeáil an chéim uaslódála comhad. Is é seo an modh idéalach nuair a bhíonn toirt mheasartha iarratas agat (suas le 10,000) agus nuair is mian leat do phíblíne a shimpliú.

Batchú Comhad vs. Batchú Inlíne

Sula ndéanaimid tumadh sa chód, déanaimis na difríochtaí idir an dá chur chuige a shoiléiriú:

Critéar Batchú Comhad Batchú Inlíne
Uasmhéid 1,000,000 iarratas 10,000 iarratas
Réamhriachtanais Uaslódáil comhad JSONL Ceann ar bith
Céimeanna Uaslódáil + Cruthaigh Post Cruthaigh Post (glao amháin)
Cásanna úsáide Léiriú, toirteanna móra Tástáil, prótatípú, toirteanna meánacha

Post Inlíne a Chruthú

In ionad input_files a rith, rith tú paraiméadar requests ina bhfuil do liosta iarratas go díreach:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Ullmhaigh iarratais inlíne
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Cruthaigh an post le hiarratais inlíne
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Is íosta an difríocht sa chód: requests= in ionad input_files=. Tá an chuid eile den sreabhad oibre (rianú stádais, íoslódáil torthaí) comhionann.

Sampla Oibre: Aicmiú Ticéad

Seo sampla iomlán de thicéid tacaíochta do chustaiméirí a aicmiú:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simléad ticéid tacaíochta
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Tóg iarratais inlíne
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Seol an batch inlíne
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Fan agus faigh na torthaí
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Parsáil na dtorthaí
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Cathain an Cur Chuige Sin nó an Ceann Eile a Roghnú

Ní toirt amháin an fachtóir cinntitheach; is é an áit a n-oiriúnaíonn batchú do do shreabhad oibre an rud is tábhachtaí. Le linn prótatípithe, déanann tú tástáil ar leid ar roinnt céad sampla, déanann tú é a bheachtú, agus athsheolann tú é. Ní dhéanann scríobh comhad idirmheánach JSONL ag gach atriall ach an lúb a mhoilliú. Baineann batchú inlíne an chuimhneas seo—gineann do script iarratais ar an eitilt, seolann sé iad sa ghlao céanna, agus déanann tú atriall laistigh de nóiméid. Baineann an loighic chéanna le comhtháthuithe éadroma, scripteanna anailíse aonuaire, nó próiseáil laethúil a fhanann faoi 10,000 iarratas.

Gabhann batchú comhad an lámh in uachtar nuair a éiríonn batchú nasc táirgeachta. Ar dtús, go meicniúil: thar 10,000 iarratas, is é an t-aon rogha é. Ach níos tábhachtaí fós, go struchtúrtha: is ealaín mharthanach é comhad uaslódáilte. Is féidir leat é a athúsáid do phoist iolracha, é a choinneáil mar thaifead ar an méid a seoladh go beacht, agus an chéim ullmhúcháin (a thógann, a bhailíochtaíonn agus a leaganacha an comhad) a scaradh go glan ón gcéim feidhmithe (a sheolann an post). Nuair a ritheann post baisc gach oíche ar shonraí custaiméirí, ní polaitíocht é an inrianaitheacht seo; is é an rud a ligeann duit an cheist “Cad a sheolamar chuig an múnla an 12 Márta?” a fhreagairt sé mhí ina dhiaidh sin.

Go praiticiúil, úsáideann go leor foirne an dá cheann: inlíne le linn forbartha leideanna, agus ansin aistriú go batchú comhad agus é á thionscalú. Ós rud é go bhfanann an cód chun torthaí a rianú agus a fháil comhionann, tá an t-aistriú teoranta do requests= a chur in ionad input_files=.

Príomhphointí

  • Baineann batchú inlíne an chéim uaslódála trí iarratais a rith go díreach tríd an bparaiméadar requests
  • Teorainn 10,000 iarratas in aghaidh an phoist inlíne, i gcomparáid le 1 mhilliún do bhatchú comhad
  • Tá rianú stádais agus íoslódáil torthaí comhionann don dá mhód
  • Roghnaigh inlíne le haghaidh prótatípithe agus toirteanna measartha; úsáid batchú comhad do tháirgeadh ar scála mór