Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Darbnīca: Strukturēta datu ieguve

Nodarbība 15 no 16 Atjaunota 2026. gada 28. jūlijs Iesācējs
Šajā lapā
  1. Darbnīcas mērķis
  2. 1. uzdevums: JSON datu ieguve no brīvā teksta
  3. 2. uzdevums: Strukturēts dokumentu kopsavilkums
  4. 3. uzdevums: Tehniskā tulkošana, saglabājot formatējumu
  5. Uzlabotas datu ieguves tehnikas
  6. Galvenās atziņas

Darbnīcas mērķis

Šī darbnīca attīsta iepriekšējā nodarbībā apgūto prasmi: strukturētu datu ieguvi, kas nozīmē brīvā teksta pārveidošanu programmām izmantojamos datos. Tā veido tiltu starp dabisko valodu un tavām informācijas sistēmām — PDF formātā saņemts rēķins kļūst par ierakstu grāmatvedības programmā, bet uzraudzības raksts pārvēršas par ierakstu informācijas panelī. Tu praktizēsi trīs uzdevumus ar Mistral modeļiem: JSON datu ieguve, dokumentu kopsavilkumu izveide noteiktā formātā un tehniskā tulkošana, saglabājot formatējumu. Tāpat tu atkārtosi divas paņēmienus no parametru sadaļas: asistenta iepriekšēju aizpildīšanu un apturēšanas secības.

1. uzdevums: JSON datu ieguve no brīvā teksta

Sākuma scenārijs: tu automatizē pa e-pastu saņemto rēķinu apstrādi. Teksts katram piegādātājam atšķiras, taču tev vienmēr jāiegūst vieni un tie paši lauki. Sistēmas prompts nosaka visu iespējamo: tīru JSON bez komentāriem, null trūkstošajiem laukiem (nevis “nav norādīts” vai tukšas virknes, jo tavs kods pārbaudīs is None), summas kā skaitļus bez valūtas simboliem, datumus ISO 8601 formātā un PVN atsevišķi no summas bez nodokļa. Katrs no šiem noteikumiem novērš kļūdas turpmākajā datu apstrādē.

messages = [
    {
        "role": "system",
        "content": """You are a data extractor specialized in accounting documents.
Strict rules:
- Return ONLY valid JSON, no comments or additional text
- If a field is not found, use null (not "not provided", not "")
- Amounts must be numbers (no euro symbol in the value)
- Dates in ISO 8601 format (YYYY-MM-DD)
- VAT must be extracted separately from the pre-tax amount"""
    },
    {
        "role": "user",
        "content": """Extract data from this invoice:

"FACTURE N° 2026-0847
Date : 15 mars 2026

De : CloudServ SAS
     42 rue de la Paix, 75002 Paris
     SIRET : 823 456 789 00012

À : TechCorp SARL
    12 avenue des Champs, 69001 Lyon

Désignation : Hébergement cloud - Pack Premium
Période : 01/03/2026 au 31/03/2026
Montant HT : 1 250,00 EUR
TVA 20% : 250,00 EUR
Total TTC : 1 500,00 EUR

Conditions de paiement : 30 jours fin de mois
IBAN : FR76 3000 4000 0500 0001 2345 678"

JSON Schema:
{
  "numero_facture": "string",
  "date_facture": "string (YYYY-MM-DD)",
  "fournisseur": {
    "nom": "string",
    "adresse": "string",
    "siret": "string"
  },
  "client": {
    "nom": "string",
    "adresse": "string"
  },
  "lignes": [
    {
      "designation": "string",
      "periode": "string",
      "montant_ht": "number"
    }
  ],
  "tva_taux": "number",
  "tva_montant": "number",
  "total_ttc": "number",
  "conditions_paiement": "string",
  "iban": "string"
}"""
    },
    {
        "role": "assistant",
        "content": "{"
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.0,
    stop=["\n}"]
)
# Reconstruct the JSON: "{" + response + "\n}"

Paredzamais rezultāts:

{
  "numero_facture": "2026-0847",
  "date_facture": "2026-03-15",
  "fournisseur": {
    "nom": "CloudServ SAS",
    "adresse": "42 rue de la Paix, 75002 Paris",
    "siret": "823 456 789 00012"
  },
  "client": {
    "nom": "TechCorp SARL",
    "adresse": "12 avenue des Champs, 69001 Lyon"
  },
  "lignes": [
    {
      "designation": "Hébergement cloud - Pack Premium",
      "periode": "01/03/2026 au 31/03/2026",
      "montant_ht": 1250.00
    }
  ],
  "tva_taux": 20,
  "tva_montant": 250.00,
  "total_ttc": 1500.00,
  "conditions_paiement": "30 jours fin de mois",
  "iban": "FR76 3000 4000 0500 0001 2345 678"
}

Ievēro asistenta iepriekšējas aizpildīšanas (ziņojums "{") un apturēšanas secības kombināciju: pirmais liek modelim uzreiz ģenerēt JSON bez ievada frāzēm, piemēram, „Lūk, iegūtie dati:”, bet otrais neļauj tam turpināt tekstu pēc noslēdzošās iekavas. Pēc tam tu kodā rekonstruē pilnu JSON objektu.

2. uzdevums: Strukturēts dokumentu kopsavilkums

Otrais scenārijs: tu papildini iekšējo uzraudzības informācijas paneli ar garu ziņojumu kopsavilkumiem. Lai nodrošinātu vienotu attēlojumu, katram kopsavilkumam jāatbilst tieši vienam un tam pašam formātam — sistēmas prompts to nodrošina, lauku pa laukam, ar garuma ierobežojumiem.

messages = [
    {
        "role": "system",
        "content": """You produce structured summaries for a monitoring dashboard.
Mandatory format for each summary:
{
  "titre_court": "max 60 characters",
  "resume": "max 3 sentences, factual, no opinion",
  "impact_business": "low | medium | high",
  "secteurs": ["list of affected sectors"],
  "action_requise": true/false,
  "action_detail": "description if action required, null otherwise"
}"""
    },
    {
        "role": "user",
        "content": """Summarize this article for our monitoring dashboard:

"L'Union européenne a adopté le 28 mars 2026 un nouveau règlement sur
l'intelligence artificielle (AI Act 2.0) qui renforce les obligations de
transparence pour les systèmes de génération de texte et d'images. Les
entreprises qui déploient des modèles de plus de 10 milliards de paramètres
devront désormais publier un rapport d'évaluation des risques trimestriel et
mettre en place un système de traçabilité des contenus générés. Les sanctions
pour non-conformité peuvent atteindre 6% du chiffre d'affaires mondial annuel.
Le règlement entre en vigueur le 1er janvier 2027, avec une période de
transition de 6 mois pour les entreprises déjà en activité. Les PME de moins
de 50 salariés bénéficient d'un régime allégé avec des obligations réduites
de reporting."

Return the structured JSON."""
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.1
)

Lūk, ko tev vajadzētu iegūt — faktisku kopsavilkumu, kas kondensē informāciju to nesagrozot, un darbības lauku, kas pārvērš uzraudzību lēmumā:

{
  "titre_court": "AI Act 2.0 : nouvelles obligations de transparence IA",
  "resume": "L'UE adopte un renforcement de l'AI Act imposant des rapports trimestriels pour les grands modèles. Les sanctions atteignent 6% du CA mondial. Entrée en vigueur le 1er janvier 2027 avec régime allégé pour les PME.",
  "impact_business": "élevé",
  "secteurs": ["intelligence artificielle", "technologie", "réglementation"],
  "action_requise": true,
  "action_detail": "Évaluer la conformité de nos modèles et planifier la mise en place du reporting trimestriel avant janvier 2027."
}

Šeit temperatūra ir iestatīta uz 0.1, nevis 0.0: kopsavilkumam nepieciešama neliela brīvība formulējumos, atšķirībā no tīras datu ieguves, kur katra vērtība nāk tieši no avota teksta.

3. uzdevums: Tehniskā tulkošana, saglabājot formatējumu

Trešais scenārijs: tulko tehnisko dokumentāciju no franču valodas angļu valodā, saglabājot Markdown formatējumu un tehniskos terminus tieši tādos, kādi tie ir. Tehniskās tulkošanas slazds slēpjas šeit: pārlieku centīgs tulkotājs var pārtulkot temperature kā „température” koda piemērā, un dokumentācija vairs neatbilst faktiskajai API. Risinājums ir skaidri uzskaitīt to, ko nedrīkst mainīt.

messages = [
    {
        "role": "system",
        "content": """You are a technical translator from French to English.

Rules:
- Preserve Markdown formatting EXACTLY (headers, lists, code blocks)
- Do NOT translate terms in backticks
- Do NOT translate variable, function, or parameter names
- Code blocks remain identical (translate comments only)
- Adapt idiomatic expressions to the English technical context
- Use American English"""
    },
    {
        "role": "user",
        "content": """Translate this documentation passage:

## Configuration de l'API

Pour commencer, installez le package `mistralai` :

```bash
pip install mistralai
```

### Authentification

Vous devez configurer votre clé API avant tout appel :

```python
# Initialisation du client Mistral
client = Mistral(api_key="votre-clé")
```

**Important** : ne stockez jamais votre clé API en dur dans le code.
Utilisez plutôt des variables d'environnement ou un gestionnaire de secrets.

### Paramètres disponibles

- `temperature` : contrôle la créativité (défaut : 0.7)
- `top_p` : filtrage par probabilité cumulée (défaut : 1.0)
- `max_tokens` : limite de tokens en sortie"""
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2
)

Lai validētu rezultātu, pārbaudi punktveida: Markdown virsraksti (##, ###) ir saglabāti, termini atpakaļkomatos (mistralai, temperature, top_p, max_tokens) paliek angļu valodā, koda bloki ir identiski, izņemot pārtulkoto komentāru, treknraksts (**Important**) ir saglabāts, un saraksti saglabā savu struktūru. Jebkura novirze kādā no šiem punktiem liecina, ka sistēmas promptā jāpastiprina attiecīgais noteikums.

Uzlabotas datu ieguves tehnikas

Šo darbnīcu caurvij viens zelta likums: nekad nepadodies modeļa izvadei akli. Pēc datu ieguves vienmē validē JSON kodā:

import json

try:
    data = json.loads(response.choices[0].message.content)
    # Validate required fields
    required_fields = ["numero_facture", "date_facture", "total_ttc"]
    for field in required_fields:
        if field not in data or data[field] is None:
            print(f"Missing field: {field}")
except json.JSONDecodeError:
    print("Invalid response, retry with temperature=0")

Un ja, neskatoties uz visu, models neatgriež derīgu JSON, ievēro eskalācijas ceļu:

  1. Mēģini vēlreiz ar temperature=0.0
  2. Izmanto asistenta iepriekšēju aizpildīšanu, lai piespiestu formatu
  3. Pievieno vienu piemēru (one-shot) no paredzamās izvades
  4. Kā pēdējo līdzekli izmanto regulāro izteiksmi (regex), lai izgūtu JSON no atbildes

Galvenās atziņas

  • Asistenta iepriekšēja aizpildīšana un apturēšanas secības garantē derīgu JSON
  • Vienmēr norādi precīzu JSON shēmu promptā
  • Temperatūra 0 datu ieguvei, 0.1–0.2 kopsavilkumiem
  • Sistemātiski validē izvadi kodā
  • Tehniskajai tulkošanai skaidri uzskaiti to, ko nedrīkst tulkot