Formáid JSONL, custom_id, agus Uaslódáil Comhaid
Ar an leathanach seo
Nuashonraithe an 3 Samhain 2026: Le SDK
mistralai3.7.0, tá súil agfiles.uploadlefile={"file_name": …, "content": …}(cuireann seoladh tiúplaValidationErrori bhfeidhm sula seoltar aon sonraí), agus tá méid an chomhaid ar fáil insize_bytes.
An Fhormáid JSONL: Dromchla na hInferála Baisce
Is é JSONL (JSON Lines) an fhormáid chaighdeánach a úsáideann Mistral chun iarratais bhaisce a struchtúrú. Is oibiacht JSON neamhspleách í gach líne sa chomhad a sheasann d’iarratas amháin. Tá an dearadh seo intinneach: is féidir leat comhad milliún líne a ghiniúint ar sruth gan é a lódáil go hiomlán sa chuimhne, é a léamh ar ais líne ar líne, agus iontrálacha sonracha a scrúdú de láimh nuair a theipeann ar iarratas. Murab ionann agus aon eagair JSON ollmhór amháin, a chuireann ort an comhad iomlán a lódáil chun iontráil amháin a fhíorú, ligeann JSONL duit oibriú ar leibhéal na líne.
Struchtúr Iarratais JSONL
Caithfidh dhá réimse riachtanacha a bheith i ngach líne i do chomhad JSONL:
{
"custom_id": "req-001",
"body": {
"max_tokens": 100,
"messages": [
{"role": "user", "content": "Déan achoimre ar an doiciméad seo i 3 phointe."}
]
}
}
Is aitheantóir uathúil é an custom_id a shainíonn tusa do gach iarratas. Is é seo a dhéanann na torthaí inúsáidte. Ní thugann Mistral ráthaíocht ar ord próiseála: d’fhéadfadh an comhad aschuir tosú leis an iarratas 8,472. Gan custom_id, críochnaíonn tú le carn freagraí agus gan aon bhealach chun a fháil amach cén doiciméad a fhreagraíonn do gach ceann acu. Déan cleachtas de an t-ID seo a dhíorthú ó do chóras tagartha féin—doc-001, email-2024-03-15-042, product-sku-ABC123—seachas áireamhán gan ainm a úsáid. Nuair a chruthaíonn freagra fadhbanna, is féidir leat é a rianú ar ais go dtí an foinse gan ceist SQL a rith. Tá dhá riail phraiticiúla i bhfeidhm anseo: caithfidh na hIDanna a bheith uathúil laistigh den chomhad, nó fillfidh an phróiseáil earráid, agus ba chóir dóibh a bheith réasúnta gairid, ós rud é go ndéanann aitheantóir 200 carachtar logaí doiléite.
Ní ghlacann an réimse body aon fhoghlaim nua: tá an struchtúr cruinn ann a d’úsáidfí le haghaidh glao API sioncronach chuig an bpointe deiridh sprioc. Má tá tú ag díriú ar /v1/chat/completions, tá an corp comhionann leis an méid a sheolfá i nglao client.chat.complete(). Aistríonn leid a bailíochtaíodh go hidirghníomhach go díreach go post baisce.
Comhad JSONL a Ghiniúint i bPython
Seo conas comhad JSONL a ghiniúint go cláraitheach ó liosta doiciméad:
import json
documents = [
{"id": "doc-001", "text": "Tá an intleacht shaorga ag claochlú..."},
{"id": "doc-002", "text": "Líonraí néaracha domhain..."},
{"id": "doc-003", "text": "Próiseáil teanga nádúrtha..."},
]
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
for doc in documents:
request = {
"custom_id": doc["id"],
"body": {
"model": "mistral-small-latest",
"max_tokens": 200,
"messages": [
{
"role": "system",
"content": "Is cúntóir tú a dhéanann achoimre ar théacsanna."
},
{
"role": "user",
"content": f"Déan achoimre ar an téacs seo: {doc['text']}"
}
]
}
}
f.write(json.dumps(request, ensure_ascii=False) + "\n")
Tabhair faoi deara an paraiméadar ensure_ascii=False. Gan é, déanann json.dumps carachtair bhéimnithe a éalú mar sheichimh \uXXXX. Fanann an comhad bailí, ach éiríonn sé dodhéanta do dhaoine é a léamh, ag casadh aon dífhabhtú ar chorpas Fraincise ina chleachtadh díchriptithe. Déan é seo mar do réamhshocrú ón gcéad líne cóid.
An Comhad a Uaslódáil chuig Mistral
I dtáirgeadh, déan uaslódáil tríd an API Python:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Uaslódáil an comhad JSONL
with open("batch_requests.jsonl", "rb") as f:
batch_file = client.files.upload(
file={"file_name": "batch_requests.jsonl", "content": f},
purpose="batch"
)
print(f"Comhad uaslódálta: {batch_file.id}")
print(f"Méid: {batch_file.size_bytes} beart")
print(f"Cuspóir: {batch_file.purpose}")
Insíonn an paraiméadar purpose="batch" do Mistral go bhfuil an comhad seo beartaithe le haghaidh próiseála baisce, seachas gnéithe eile cosúil le mín-tiúnadh nó RAG. Cinneann an dearbhú rúine seo cad a tharlaíonn ina dhiaidh sin: diúltóidh an post do chomhad a uaslódáladh leis an gcuspóir mícheart.
Le haghaidh tástála tapa nó d’fhoirne neamhtheicniúla, tairgeann AI Studio an tseirbhís chéanna tríd an GUI:
- Téigh go
console.mistral.ai/build/files - Cliceáil ar “Upload”
- Roghnaigh do chomhad JSONL
- Roghnaigh an cuspóir “Batch Processing”
Tugann an comhéadan file_id ar ais, díreach cosúil leis an API, agus is é seo an t-aitheantóir a úsáideann tú chun an post baisce a chruthú.
Bailíochtú Comhaid
Costaíonn baisce milliún líne a theipeann ag líne 300 mar gheall ar custom_id dúbailte timthriall feithimh iomlán ort. Cuireann cúpla soicind de bhailíochtú áitiúil cosc ar an gcaillteanas seo. Déanann an script seo a leanas pas amháin chun bailíocht JSON, láithreacht an dá réimse riachtanach, agus uathúlacht ID a sheiceáil:
import json
errors = []
seen_ids = set()
with open("batch_requests.jsonl", "r", encoding="utf-8") as f:
for line_num, line in enumerate(f, 1):
try:
data = json.loads(line)
except json.JSONDecodeError as e:
errors.append(f"Líne {line_num}: JSON neamhbhailí - {e}")
continue
# Seiceáil réimsí riachtanacha
if "custom_id" not in data:
errors.append(f"Líne {line_num}: custom_id in easnamh")
if "body" not in data:
errors.append(f"Líne {line_num}: body in easnamh")
# Seiceáil uathúlacht custom_id
cid = data.get("custom_id")
if cid in seen_ids:
errors.append(f"Líne {line_num}: custom_id dúbailte '{cid}'")
seen_ids.add(cid)
if errors:
print(f"{len(errors)} earráid(eanna) aimsithe:")
for e in errors:
print(f" - {e}")
else:
print(f"Comhad bailí: {len(seen_ids)} iarratas réidh.")
Déan céid chórasach é seo i do phíblíne ullmhúcháin, curtha i bhfeidhm díreach roimh an uaslódáil.
Teorainneacha agus Srialta
Tá teorainn ar bhaisciú comhad ag milliún líne in aghaidh an chomhaid, rud a chiallaíonn go gcaithfidh tú corpais níos mó a roinnt ina n-iarratais iolracha. Caithfidh an t-ionchódú a bheith ina UTF-8, agus éilíonn an fhormáid go docht oibiacht JSON amháin in aghaidh na líne: briseann oibiacht JSON atá leathnaithe ar fud línte iolracha, mar a tháirgtear le json.dumps(..., indent=2) mícheart, an pharsáil taobh freastalaí. Ar deireadh, cuimhnigh ar an dá riail a luadh cheana, mar is cúis le teip ar an bpost iad a shárú: caithfidh an custom_id a bheith uathúil laistigh den chomhad, agus caithfidh an body teacht le scéama an phointe deiridh sprioc.
Príomhphointí
- Struchtúraíonn JSONL do chuid iarratas baisce le hoibiacht JSON amháin in aghaidh na líne
- Éilíonn gach iarratas
custom_iduathúil agusbodya fhreagraíonn don phointe deiridh sprioc - Déan uaslódáil tríd an API Python (
client.files.upload) nó trí AI Studio - Déan bailíochtú ar do chomhad i gcónaí roimh chur isteach chun earráidí próiseála a sheachaint
- Úsáid
ensure_ascii=Falsele haghaidh carachtair Fhraincise agus béimnithe