Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Töötuba: Struktureeritud ekstraheerimine

Õppetund 15 / 16 Värskendatud 28. juuli 2026 Algajatele
Sellel lehel
  1. Töötoa eesmärk
  2. Harjutus 1: JSON-i ekstraheerimine vabast tekstist
  3. Harjutus 2: Struktureeritud dokumendi kokkuvõte
  4. Harjutus 3: Tehniline tõlkimine vorminduse säilitamisega
  5. Peamised punktid

Töötoa eesmärk

See töötuba arendab edasi eelmises osas tutvustatud oskust: struktureeritud ekstraheerimist, mis tähendab vaba teksti muutmist programmidele kasutatavaks andmeks. See loob silla loomuliku keele ja sinu infosüsteemide vahel – PDF-formaadis saabunud arve muutub raamatupidamistarkvaras kirjeiks, seireartikkel aga armatuurlaua sissekandeks. Harjutad Mistrali mudelitega kolme ülesannet: JSON-i ekstraheerimist, dokumentide kokkuvõtete koostamist etteantud vormingus ning tehnilist tõlkimist vorminduse säilitamisega. Samuti kordad kahte parameetrite sektsioonist tuttavat tehnikat: assistendi eeltäitmist ja peatusjärjestusi.

Harjutus 1: JSON-i ekstraheerimine vabast tekstist

Stsenaarium: automatiseerid meilitsi saabuvate arvete töötlemist. Tekst erineb tarnijati, kuid alati tuleb ekstraheerida samad väljad. Süsteemne viip lukustab kõik võimaliku: puhas JSON ilma kommentaarideta, null puuduvate väljade jaoks (mitte “pole esitatud” ega tühjad stringid, kuna sinu kood kontrollib is None), summad arvudena ilma valuutasümboliteta, kuupäevad ISO 8601 vormingus, käibemaks eraldi maksustatavast summast. Iga neist reeglitest hoiab ära hilisema parsimisvea.

messages = [
    {
        "role": "system",
        "content": """You are a data extractor specialized in accounting documents.
Strict rules:
- Return ONLY valid JSON, no comments or additional text
- If a field is not found, use null (not "not provided", not "")
- Amounts must be numbers (no euro symbol in the value)
- Dates in ISO 8601 format (YYYY-MM-DD)
- VAT must be extracted separately from the pre-tax amount"""
    },
    {
        "role": "user",
        "content": """Extract data from this invoice:

"FACTURE N° 2026-0847
Date : 15 mars 2026

De : CloudServ SAS
     42 rue de la Paix, 75002 Paris
     SIRET : 823 456 789 00012

À : TechCorp SARL
    12 avenue des Champs, 69001 Lyon

Désignation : Hébergement cloud - Pack Premium
Période : 01/03/2026 au 31/03/2026
Montant HT : 1 250,00 EUR
TVA 20% : 250,00 EUR
Total TTC : 1 500,00 EUR

Conditions de paiement : 30 jours fin de mois
IBAN : FR76 3000 4000 0500 0001 2345 678"

JSON Schema:
{
  "numero_facture": "string",
  "date_facture": "string (YYYY-MM-DD)",
  "fournisseur": {
    "nom": "string",
    "adresse": "string",
    "siret": "string"
  },
  "client": {
    "nom": "string",
    "adresse": "string"
  },
  "lignes": [
    {
      "designation": "string",
      "periode": "string",
      "montant_ht": "number"
    }
  ],
  "tva_taux": "number",
  "tva_montant": "number",
  "total_ttc": "number",
  "conditions_paiement": "string",
  "iban": "string"
}"""
    },
    {
        "role": "assistant",
        "content": "{"
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.0,
    stop=["\n}"]
)
# Reconstruct the JSON: "{" + response + "\n}"

Oodatav tulemus:

{
  "numero_facture": "2026-0847",
  "date_facture": "2026-03-15",
  "fournisseur": {
    "nom": "CloudServ SAS",
    "adresse": "42 rue de la Paix, 75002 Paris",
    "siret": "823 456 789 00012"
  },
  "client": {
    "nom": "TechCorp SARL",
    "adresse": "12 avenue des Champs, 69001 Lyon"
  },
  "lignes": [
    {
      "designation": "Hébergement cloud - Pack Premium",
      "periode": "01/03/2026 au 31/03/2026",
      "montant_ht": 1250.00
    }
  ],
  "tva_taux": 20,
  "tva_montant": 250.00,
  "total_ttc": 1500.00,
  "conditions_paiement": "30 jours fin de mois",
  "iban": "FR76 3000 4000 0500 0001 2345 678"
}

Pane tähele assistendi eeltäitmise ("{" sõnum) ja peatusjärjestuse kombinatsiooni: esimene sunnib mudeli kohe JSON-i juurde ilma sissejuhatava fraasita nagu „Siin on ekstraheeritud andmed:“, teine takistab jätkamast pärast sulgevaid sulge. Seejärel taastad täieliku JSON-i koodi poolel.

Harjutus 2: Struktureeritud dokumendi kokkuvõte

Teine stsenaarium: toidad sisemist seirearmatuurlauda pikkade raportite kokkuvõtetega. Ühtlase kuva tagamiseks peab iga kokkuvõte järgima täpselt sama vormingut – süsteemne viip jõustab seda väli haaval koos pikkusepiirangutega.

messages = [
    {
        "role": "system",
        "content": """You produce structured summaries for a monitoring dashboard.
Mandatory format for each summary:
{
  "titre_court": "max 60 characters",
  "resume": "max 3 sentences, factual, no opinion",
  "impact_business": "low | medium | high",
  "secteurs": ["list of affected sectors"],
  "action_requise": true/false,
  "action_detail": "description if action required, null otherwise"
}"""
    },
    {
        "role": "user",
        "content": """Summarize this article for our monitoring dashboard:

"L'Union européenne a adopté le 28 mars 2026 un nouveau règlement sur
l'intelligence artificielle (AI Act 2.0) qui renforce les obligations de
transparence pour les systèmes de génération de texte et d'images. Les
entreprises qui déploient des modèles de plus de 10 milliards de paramètres
devront désormais publier un rapport d'évaluation des risques trimestriel et
mettre en place un système de traçabilité des contenus générés. Les sanctions
pour non-conformité peuvent atteindre 6% du chiffre d'affaires mondial annuel.
Le règlement entre en vigueur le 1er janvier 2027, avec une période de
transition de 6 mois pour les entreprises déjà en activité. Les PME de moins
de 50 salariés bénéficient d'un régime allégé avec des obligations réduites
de reporting."

Return the structured JSON."""
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.1
)

Siin on see, mida peaksid saama – faktiline kokkuvõte, mis kondenseerib moonutamata, ja tegevusväli, mis muudab seire otsustamiseks:

{
  "titre_court": "AI Act 2.0 : nouvelles obligations de transparence IA",
  "resume": "L'UE adopte un renforcement de l'AI Act imposant des rapports trimestriels pour les grands modèles. Les sanctions atteignent 6% du CA mondial. Entrée en vigueur le 1er janvier 2027 avec régime allégé pour les PME.",
  "impact_business": "élevé",
  "secteurs": ["intelligence artificielle", "technologie", "réglementation"],
  "action_requise": true,
  "action_detail": "Évaluer la conformité de nos modèles et planifier la mise en place du reporting trimestriel avant janvier 2027."
}

Temperatuur on siin 0,1 asemel 0,0: kokkuvõte nõuab sõnastuses kerget paindlikkust, erinevalt puhtast ekstraheerimisest, kus iga väärtus pärineb lähtetekstist.

Harjutus 3: Tehniline tõlkimine vorminduse säilitamisega

Kolmas stsenaarium: tõlgi tehniline dokumentatsioon prantsuse keelest inglise keelde, säilitades Markdowni vorminduse ja tehnilised terminid täpselt sellisena, nagu need on. Tehnilise tõlkimise lõks peitub siin: üliagar tõlkija tõlgib koodinäites temperature kui „température“ ja dokumentatsioon lakkab vastamast tegelikule API-le. Lahendus on selgelt loetleda, mida ei tohi puutuda.

messages = [
    {
        "role": "system",
        "content": """You are a technical translator from French to English.

Rules:
- Preserve Markdown formatting EXACTLY (headers, lists, code blocks)
- Do NOT translate terms in backticks
- Do NOT translate variable, function, or parameter names
- Code blocks remain identical (translate comments only)
- Adapt idiomatic expressions to the English technical context
- Use American English"""
    },
    {
        "role": "user",
        "content": """Translate this documentation passage:

## Configuration de l'API

Pour commencer, installez le package `mistralai` :

```bash
pip install mistralai

Authentification

Vous devez configurer votre clé API avant tout appel :

# Initialisation du client Mistral
client = Mistral(api_key="votre-clé")

Important : ne stockez jamais votre clé API en dur dans le code. Utilisez plutôt des variables d’environnement ou un gestionnaire de secrets.

Paramètres disponibles

  • temperature : contrôle la créativité (défaut : 0.7)
  • top_p : filtrage par probabilité cumulée (défaut : 1.0)
  • max_tokens : limite de tokens en sortie""" } ]

response = client.chat.complete( model=“mistral-large-latest”, messages=messages, temperature=0.2 )

Tulemuse valideerimiseks kontrolli punkt-punkti haaval: Markdowni päised (`##`, `###`) on säilinud, tagurpidi komades olevad terminid (`mistralai`, `temperature`, `top_p`, `max_tokens`) on jäänud inglise keelde, koodiplokid on identsed välja arvatud tõlgitud kommentaar, rasvane kiri (`**Important**`) on säilinud ja loendid hoiavad oma struktuuri. Igasugune kõrvalekalle ühel neist punktidest annab märku, et süsteemses viibas tuleb reeglit tugevdada.

## Ekstraheerimise täiustatud tehnikad

Seda töötuba läbib üks kuldreegel: ära kunagi usalda pimesi mudeli väljundit. Pärast ekstraheerimist valideeri JSON alati koodi tasandil:

```python
import json

try:
    data = json.loads(response.choices[0].message.content)
    # Validate required fields
    required_fields = ["numero_facture", "date_facture", "total_ttc"]
    for field in required_fields:
        if field not in data or data[field] is None:
            print(f"Missing field: {field}")
except json.JSONDecodeError:
    print("Invalid response, retry with temperature=0")

Ja kui mudel ei tagasta vaatamata kõigele kehtivat JSON-i, järgi eskaleerumise rada:

  1. Proovi uuesti väärtusega temperature=0.0
  2. Kasuta vormingu sundimiseks assistendi eeltäitmist
  3. Lisa oodatava väljundi näide (one-shot)
  4. Viimase abinõuna parsi vastus regulaaravaldise abil JSON-i ekstraheerimiseks

Peamised punktid

  • Assistendi eeltäitmine ja peatusjärjestused garanteerivad kehtiva JSON-i
  • Esita viibas alati täpne JSON-i skeem
  • Ekstraheerimiseks temperatuur 0, kokkuvõtete jaoks 0,1–0,2
  • Valideeri väljund süstemaatiliselt koodi tasandil
  • Tehnilisel tõlkimisel loetle selgelt, mida ei tohi tõlkida