Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Format tad-data: konversazzjonijiet JSONL

Lezzjoni 3 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Il-format JSONL
  2. Struttura tal-konversazzjoni
  3. Konversazzjonijiet b’diversi dawriet (Multi-turn)
  4. Piżar (Weighting) b’weight
  5. Skript għall-ħolqien ta’ fajl JSONL
  6. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar kompiti; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ (fine-tuned) fl-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda kompiti ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.

Il-format JSONL

JSONL (JSON Lines) huwa l-format meħtieġ għall-API ta’ fine-tuning ta’ OpenAI. Kull linja fil-fajl hija oġġett JSON indipendenti li jirrappreżenta eżempju ta’ taħriġ sħiħ. Din l-istruttura tippermettilek li tgħaddi (stream) corpus ta’ għexieren ta’ eluf ta’ eżempji mingħajr qatt ma ttella’ l-fajl kollu fil-memorja.

{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}

Regola fundamentali: linja waħda = oġġett JSON wieħed = eżempju wieħed. Tinkludix salti tal-linja ġewwa l-oġġett JSON innifsu. Fi kliem ieħor, JSON “imżejjen” (pretty-printed) b’indentazzjoni mill-editur tiegħek se jħassar il-fajl—din hija l-aktar kawża komuni ta’ rifjut matul it-tlugħ.

Struttura tal-konversazzjoni

Kull eżempju huwa oġġett b’key messages li fih array ta’ messaġġi. Kull messaġġ għandu role u content. Jiġu aċċettati biss tliet rwoli:

  • system: istruzzjonijiet globali għall-assistent (mhux obbligatorju, iżda rrakkomandat)
  • user: il-messaġġ tal-utent
  • assistant: ir-risposta li l-mudell irid jitgħallem jipproduċi

Il-format minimu jikkonsisti f’skambju wieħed bejn utent u assistent. Dan huwa biżżejjed meta l-imġiba mixtieqa ma tiddependix fuq qafas speċifiku, bħal pereżempju għal mudell iddedikat għal kompitu wieħed.

{
  "messages": [
    {"role": "user", "content": "Hello, how are you?"},
    {"role": "assistant", "content": "Hello! I'm ready to help. What can I do for you?"}
  ]
}

Hekk kif il-mudell ikollu jadotta rwol speċifiku, żid messaġġ tas-sistema—u żommu identiku fl-eżempji kollha tiegħek. Innota fl-eżempju hawn taħt li l-istruzzjoni “offri dejjem appuntament għal demo” fil-fatt tiġi onorata fir-risposta tal-assistent: il-messaġġ tas-sistema jiddeskrivi restrizzjoni, u l-eżempju juri kif tidher meta tiġi applikata.

{
  "messages": [
    {
      "role": "system",
      "content": "You are a sales assistant for TechCorp. Respond concisely and professionally. Always offer a demo appointment."
    },
    {
      "role": "user",
      "content": "I'm looking for a CRM solution for my team of 50 people."
    },
    {
      "role": "assistant",
      "content": "Our TechCorp CRM is designed for teams of 20 to 200 people, with contact management, sales pipeline, and integrated reporting. For a team of 50, I recommend the Business plan at €29/user/month. Would you like to schedule a personalized demo this week?"
    }
  ]
}

Konversazzjonijiet b’diversi dawriet (Multi-turn)

Tista’ tinkludi konversazzjonijiet b’diversi skambji. Il-mudell imbagħad jitgħallem iżomm il-konsistenza mad-dawriet: hawnhekk, it-tieni risposta tibni fuq il-pass 2 imħabbar fl-ewwel waħda, xi ħaġa li eżempju iżolat ma setax jgħallem.

{
  "messages": [
    {
      "role": "system",
      "content": "You are a technical assistant for a payment API."
    },
    {
      "role": "user",
      "content": "How do I integrate your payment API?"
    },
    {
      "role": "assistant",
      "content": "Integration happens in 3 steps: 1) Install the SDK with pip install paycorp-sdk, 2) Configure your API key, 3) Create your first payment. Which step would you like to start with?"
    },
    {
      "role": "user",
      "content": "How do I configure the API key?"
    },
    {
      "role": "assistant",
      "content": "Get your key from the dashboard (Settings > API Keys), then configure it in your code:\n\nfrom paycorp import PayCorp\nclient = PayCorp(api_key=\"your_key\")\n\nUse the test key (prefix sk_test_) in development and the live key (sk_live_) in production. Never commit your keys to source code."
    }
  ]
}

Piżar (Weighting) b’weight

Tista’ tgħid lill-mudell liema messaġġi tal-assistent huma l-aktar importanti billi żżid kamp weight:

{
  "messages": [
    {"role": "user", "content": "Summarize this document."},
    {"role": "assistant", "content": "Here is the summary...", "weight": 1}
  ]
}

weight ta’ 0 ifisser li l-mudell mhux se jitħarreġ fuq dak il-messaġġ speċifiku tal-assistent; il-valur default huwa 1. Il-każ ta’ użu tipiku huwa f’konversazzjonijiet b’diversi dawriet fejn biss id-dawra finali hija importanti: iżżomm l-iskambji preċedenti għax jipprovdu l-kuntest meħtieġ, iżda ma tridx li l-mudell jitgħallem jirriproduċihom—biss issettjahom għal 0.

Skript għall-ħolqien ta’ fajl JSONL

Fil-prattika, qatt ma tikteb dan il-fajl bl-idejn. Il-funzjoni hawn taħt tisserjalizza lista ta’ eżempji u tipproteġik miż-żewġ nawaqas l-aktar komuni: li tinsej is-salta tal-linja finali u li timmaniġġja ħażin l-escape tal-aċċenti.

import json

def create_jsonl_file(examples: list[dict], path: str):
    """Creates a JSONL file from a list of examples."""
    with open(path, "w", encoding="utf-8") as f:
        for example in examples:
            line = json.dumps(example, ensure_ascii=False)
            f.write(line + "\n")
    print(f"File created: {path} ({len(examples)} examples)")

# Your examples
examples = [
    {
        "messages": [
            {"role": "system", "content": "TechCorp customer support assistant."},
            {"role": "user", "content": "My account is locked."},
            {"role": "assistant", "content": "I understand your frustration. To unlock your account, I need your registration email address. I'll check the status and guide you through the reactivation process."}
        ]
    },
    {
        "messages": [
            {"role": "system", "content": "TechCorp customer support assistant."},
            {"role": "user", "content": "How do I change my password?"},
            {"role": "assistant", "content": "To change your password: go to Settings > Security > Change Password. Enter your current password, then the new one (minimum 12 characters, with uppercase, number, and special character). Confirm and click Save."}
        ]
    }
]

create_jsonl_file(examples, "training_data.jsonl")

L-iżbalji li se tiltaqa’ magħhom huma dejjem l-istess, u kollha jistgħu jiġu skoperti qabel it-tlugħ. Salta tal-linja nieqsa bejn żewġ oġġetti tgħaqqad żewġ eżempji f’linja waħda li ma tinqarax. JSON malformat—virgola nieqsa, virgola żejda—ifalli l-linja kollha. content vojt jipprovoka żball ta’ validazzjoni min-naħa ta’ OpenAI, bħalma jagħmel rwol inventat: biss system, user, u assistant huma aċċettati. Fl-aħħar nett, ikteb dejjem f’UTF-8 b’ensure_ascii=False, inkella l-karattri aċċentwati tiegħek se jsiru sekwenzi ta’ escape li l-mudell se jitgħallem bir-reqqa jirriproduċi.

Punti Ewlenin

  • Linja JSONL waħda = oġġett JSON wieħed = konversazzjoni sħiħa waħda
  • Kull konversazzjoni fiha mill-inqas messaġġ user wieħed u messaġġ assistant wieħed
  • Il-messaġġ system huwa fakultattiv iżda rrakkomandat għall-konsistenza
  • Uża weight: 0 biex teskludi ċerti dawriet mit-taħriġ f’konversazzjonijiet b’diversi passi
  • Iddvalidja dejjem il-fajl JSONL tiegħek qabel ma ttellgħu