Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Formáid JSONL, custom_id, agus Uaslódáil Comhaid

Ceacht 2 as 16 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. An Fhormáid JSONL: Dromchla na hInferála Baisce
  2. Struchtúr Iarratais JSONL
  3. Comhad JSONL a Ghiniúint i bPython
  4. An Comhad a Uaslódáil chuig Mistral
  5. Bailíochtú Comhaid
  6. Teorainneacha agus Srialta
  7. Príomhphointí

Nuashonraithe an 3 Samhain 2026: Le SDK mistralai 3.7.0, tá súil ag files.upload le file={"file_name": …, "content": …} (cuireann seoladh tiúpla ValidationError i bhfeidhm sula seoltar aon sonraí), agus tá méid an chomhaid ar fáil in size_bytes.

An Fhormáid JSONL: Dromchla na hInferála Baisce

Is é JSONL (JSON Lines) an fhormáid chaighdeánach a úsáideann Mistral chun iarratais bhaisce a struchtúrú. Is oibiacht JSON neamhspleách í gach líne sa chomhad a sheasann d’iarratas amháin. Tá an dearadh seo intinneach: is féidir leat comhad milliún líne a ghiniúint ar sruth gan é a lódáil go hiomlán sa chuimhne, é a léamh ar ais líne ar líne, agus iontrálacha sonracha a scrúdú de láimh nuair a theipeann ar iarratas. Murab ionann agus aon eagair JSON ollmhór amháin, a chuireann ort an comhad iomlán a lódáil chun iontráil amháin a fhíorú, ligeann JSONL duit oibriú ar leibhéal na líne.

Struchtúr Iarratais JSONL

Caithfidh dhá réimse riachtanacha a bheith i ngach líne i do chomhad JSONL:

{
  "custom_id": "req-001",
  "body": {
    "max_tokens": 100,
    "messages": [
      {"role": "user", "content": "Déan achoimre ar an doiciméad seo i 3 phointe."}
    ]
  }
}

Is aitheantóir uathúil é an custom_id a shainíonn tusa do gach iarratas. Is é seo a dhéanann na torthaí inúsáidte. Ní thugann Mistral ráthaíocht ar ord próiseála: d’fhéadfadh an comhad aschuir tosú leis an iarratas 8,472. Gan custom_id, críochnaíonn tú le carn freagraí agus gan aon bhealach chun a fháil amach cén doiciméad a fhreagraíonn do gach ceann acu. Déan cleachtas de an t-ID seo a dhíorthú ó do chóras tagartha féin—doc-001, email-2024-03-15-042, product-sku-ABC123—seachas áireamhán gan ainm a úsáid. Nuair a chruthaíonn freagra fadhbanna, is féidir leat é a rianú ar ais go dtí an foinse gan ceist SQL a rith. Tá dhá riail phraiticiúla i bhfeidhm anseo: caithfidh na hIDanna a bheith uathúil laistigh den chomhad, nó fillfidh an phróiseáil earráid, agus ba chóir dóibh a bheith réasúnta gairid, ós rud é go ndéanann aitheantóir 200 carachtar logaí doiléite.

Ní ghlacann an réimse body aon fhoghlaim nua: tá an struchtúr cruinn ann a d’úsáidfí le haghaidh glao API sioncronach chuig an bpointe deiridh sprioc. Má tá tú ag díriú ar /v1/chat/completions, tá an corp comhionann leis an méid a sheolfá i nglao client.chat.complete(). Aistríonn leid a bailíochtaíodh go hidirghníomhach go díreach go post baisce.

Comhad JSONL a Ghiniúint i bPython

Seo conas comhad JSONL a ghiniúint go cláraitheach ó liosta doiciméad:

import json

documents = [
    {"id": "doc-001", "text": "Tá an intleacht shaorga ag claochlú..."},
    {"id": "doc-002", "text": "Líonraí néaracha domhain..."},
    {"id": "doc-003", "text": "Próiseáil teanga nádúrtha..."},
]

with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        request = {
            "custom_id": doc["id"],
            "body": {
                "model": "mistral-small-latest",
                "max_tokens": 200,
                "messages": [
                    {
                        "role": "system",
                        "content": "Is cúntóir tú a dhéanann achoimre ar théacsanna."
                    },
                    {
                        "role": "user",
                        "content": f"Déan achoimre ar an téacs seo: {doc['text']}"
                    }
                ]
            }
        }
        f.write(json.dumps(request, ensure_ascii=False) + "\n")

Tabhair faoi deara an paraiméadar ensure_ascii=False. Gan é, déanann json.dumps carachtair bhéimnithe a éalú mar sheichimh \uXXXX. Fanann an comhad bailí, ach éiríonn sé dodhéanta do dhaoine é a léamh, ag casadh aon dífhabhtú ar chorpas Fraincise ina chleachtadh díchriptithe. Déan é seo mar do réamhshocrú ón gcéad líne cóid.

An Comhad a Uaslódáil chuig Mistral

I dtáirgeadh, déan uaslódáil tríd an API Python:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Uaslódáil an comhad JSONL
with open("batch_requests.jsonl", "rb") as f:
    batch_file = client.files.upload(
        file={"file_name": "batch_requests.jsonl", "content": f},
        purpose="batch"
    )

print(f"Comhad uaslódálta: {batch_file.id}")
print(f"Méid: {batch_file.size_bytes} beart")
print(f"Cuspóir: {batch_file.purpose}")

Insíonn an paraiméadar purpose="batch" do Mistral go bhfuil an comhad seo beartaithe le haghaidh próiseála baisce, seachas gnéithe eile cosúil le mín-tiúnadh nó RAG. Cinneann an dearbhú rúine seo cad a tharlaíonn ina dhiaidh sin: diúltóidh an post do chomhad a uaslódáladh leis an gcuspóir mícheart.

Le haghaidh tástála tapa nó d’fhoirne neamhtheicniúla, tairgeann AI Studio an tseirbhís chéanna tríd an GUI:

  1. Téigh go console.mistral.ai/build/files
  2. Cliceáil ar “Upload”
  3. Roghnaigh do chomhad JSONL
  4. Roghnaigh an cuspóir “Batch Processing”

Tugann an comhéadan file_id ar ais, díreach cosúil leis an API, agus is é seo an t-aitheantóir a úsáideann tú chun an post baisce a chruthú.

Bailíochtú Comhaid

Costaíonn baisce milliún líne a theipeann ag líne 300 mar gheall ar custom_id dúbailte timthriall feithimh iomlán ort. Cuireann cúpla soicind de bhailíochtú áitiúil cosc ar an gcaillteanas seo. Déanann an script seo a leanas pas amháin chun bailíocht JSON, láithreacht an dá réimse riachtanach, agus uathúlacht ID a sheiceáil:

import json

errors = []
seen_ids = set()

with open("batch_requests.jsonl", "r", encoding="utf-8") as f:
    for line_num, line in enumerate(f, 1):
        try:
            data = json.loads(line)
        except json.JSONDecodeError as e:
            errors.append(f"Líne {line_num}: JSON neamhbhailí - {e}")
            continue

        # Seiceáil réimsí riachtanacha
        if "custom_id" not in data:
            errors.append(f"Líne {line_num}: custom_id in easnamh")
        if "body" not in data:
            errors.append(f"Líne {line_num}: body in easnamh")

        # Seiceáil uathúlacht custom_id
        cid = data.get("custom_id")
        if cid in seen_ids:
            errors.append(f"Líne {line_num}: custom_id dúbailte '{cid}'")
        seen_ids.add(cid)

if errors:
    print(f"{len(errors)} earráid(eanna) aimsithe:")
    for e in errors:
        print(f"  - {e}")
else:
    print(f"Comhad bailí: {len(seen_ids)} iarratas réidh.")

Déan céid chórasach é seo i do phíblíne ullmhúcháin, curtha i bhfeidhm díreach roimh an uaslódáil.

Teorainneacha agus Srialta

Tá teorainn ar bhaisciú comhad ag milliún líne in aghaidh an chomhaid, rud a chiallaíonn go gcaithfidh tú corpais níos mó a roinnt ina n-iarratais iolracha. Caithfidh an t-ionchódú a bheith ina UTF-8, agus éilíonn an fhormáid go docht oibiacht JSON amháin in aghaidh na líne: briseann oibiacht JSON atá leathnaithe ar fud línte iolracha, mar a tháirgtear le json.dumps(..., indent=2) mícheart, an pharsáil taobh freastalaí. Ar deireadh, cuimhnigh ar an dá riail a luadh cheana, mar is cúis le teip ar an bpost iad a shárú: caithfidh an custom_id a bheith uathúil laistigh den chomhad, agus caithfidh an body teacht le scéama an phointe deiridh sprioc.

Príomhphointí

  • Struchtúraíonn JSONL do chuid iarratas baisce le hoibiacht JSON amháin in aghaidh na líne
  • Éilíonn gach iarratas custom_id uathúil agus body a fhreagraíonn don phointe deiridh sprioc
  • Déan uaslódáil tríd an API Python (client.files.upload) nó trí AI Studio
  • Déan bailíochtú ar do chomhad i gcónaí roimh chur isteach chun earráidí próiseála a sheachaint
  • Úsáid ensure_ascii=False le haghaidh carachtair Fhraincise agus béimnithe