Delavnica: Strukturirano pridobivanje podatkov
Na tej strani
Cilj delavnice
Ta delavnica nadgrajuje veščino, predstavljeno v prejšnji: strukturirano pridobivanje podatkov, kar pomeni pretvorbo prostega besedila v podatke, uporabne za program. Predstavlja most med naravnim jezikom in tvojimi informacijskimi sistemi – račun, prejet kot PDF, postane vrstica v tvojem računovodskem programu, članek o spremljanju pa vnos v nadzorno ploščo. Vadil boš tri vaje z modeli Mistral: pridobivanje JSON, povzemanje dokumentov v predpisani obliki in tehnično prevajanje s ohranjanjem oblike. Ponovno boš uporabil tudi dve tehniki iz razdelka o parametrih: vnaprejšnje izpolnjevanje s strani asistenta in zaporedja zaustavitve.
1. vaja: Pridobivanje JSON iz prostega besedila
Začetni scenarij: avtomatiziraš obdelavo računov, prejetih po e-pošti. Besedilo se od dobavitelja do dobavitelja razlikuje, vedno pa moraš izvleči ista polja. Sistemski poziv strogo določa vse možno: čisti JSON brez komentarjev, null za manjkajoča polja (ne “ni na voljo” ali prazni nizi, saj bo tvoja koda preverjala is None), zneski kot števila brez simbolov valut, datumi v obliki ISO 8601, DDV ločen od zneska brez davka. Vsako od teh pravil preprečuje napake pri razčlenjevanju v nadaljnjih korakih.
messages = [
{
"role": "system",
"content": """You are a data extractor specialized in accounting documents.
Strict rules:
- Return ONLY valid JSON, no comments or additional text
- If a field is not found, use null (not "not provided", not "")
- Amounts must be numbers (no euro symbol in the value)
- Dates in ISO 8601 format (YYYY-MM-DD)
- VAT must be extracted separately from the pre-tax amount"""
},
{
"role": "user",
"content": """Extract data from this invoice:
"FACTURE N° 2026-0847
Date : 15 mars 2026
De : CloudServ SAS
42 rue de la Paix, 75002 Paris
SIRET : 823 456 789 00012
À : TechCorp SARL
12 avenue des Champs, 69001 Lyon
Désignation : Hébergement cloud - Pack Premium
Période : 01/03/2026 au 31/03/2026
Montant HT : 1 250,00 EUR
TVA 20% : 250,00 EUR
Total TTC : 1 500,00 EUR
Conditions de paiement : 30 jours fin de mois
IBAN : FR76 3000 4000 0500 0001 2345 678"
JSON Schema:
{
"numero_facture": "string",
"date_facture": "string (YYYY-MM-DD)",
"fournisseur": {
"nom": "string",
"adresse": "string",
"siret": "string"
},
"client": {
"nom": "string",
"adresse": "string"
},
"lignes": [
{
"designation": "string",
"periode": "string",
"montant_ht": "number"
}
],
"tva_taux": "number",
"tva_montant": "number",
"total_ttc": "number",
"conditions_paiement": "string",
"iban": "string"
}"""
},
{
"role": "assistant",
"content": "{"
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.0,
stop=["\n}"]
)
# Reconstruct the JSON: "{" + response + "\n}"
Pričakovani rezultat:
{
"numero_facture": "2026-0847",
"date_facture": "2026-03-15",
"fournisseur": {
"nom": "CloudServ SAS",
"adresse": "42 rue de la Paix, 75002 Paris",
"siret": "823 456 789 00012"
},
"client": {
"nom": "TechCorp SARL",
"adresse": "12 avenue des Champs, 69001 Lyon"
},
"lignes": [
{
"designation": "Hébergement cloud - Pack Premium",
"periode": "01/03/2026 au 31/03/2026",
"montant_ht": 1250.00
}
],
"tva_taux": 20,
"tva_montant": 250.00,
"total_ttc": 1500.00,
"conditions_paiement": "30 jours fin de mois",
"iban": "FR76 3000 4000 0500 0001 2345 678"
}
Opazi kombinacijo vnaprejšnjega izpolnjevanja s strani asistenta (sporočilo "{") in zaporedja zaustavitve: prvo prisili model neposredno v JSON brez uvodov, kot je „Tukaj so izvlečeni podatki:”, drugo pa prepreči nadaljevanje po zaklepaju. Celoten JSON nato rekonstruiraš na strani kode.
2. vaja: Strukturirano povzemanje dokumentov
Drugi scenarij: notranjo nadzorno ploščo za spremljanje polniš s povzetki dolgih poročil. Da zagotoviš enoten prikaz, mora vsak povzetek slediti popolnoma isti obliki – sistemski poziv to uveljavlja, polje za poljem, z omejitvami dolžine.
messages = [
{
"role": "system",
"content": """You produce structured summaries for a monitoring dashboard.
Mandatory format for each summary:
{
"titre_court": "max 60 characters",
"resume": "max 3 sentences, factual, no opinion",
"impact_business": "low | medium | high",
"secteurs": ["list of affected sectors"],
"action_requise": true/false,
"action_detail": "description if action required, null otherwise"
}"""
},
{
"role": "user",
"content": """Summarize this article for our monitoring dashboard:
"L'Union européenne a adopté le 28 mars 2026 un nouveau règlement sur
l'intelligence artificielle (AI Act 2.0) qui renforce les obligations de
transparence pour les systèmes de génération de texte et d'images. Les
entreprises qui déploient des modèles de plus de 10 milliards de paramètres
devront désormais publier un rapport d'évaluation des risques trimestriel et
mettre en place un système de traçabilité des contenus générés. Les sanctions
pour non-conformité peuvent atteindre 6% du chiffre d'affaires mondial annuel.
Le règlement entre en vigueur le 1er janvier 2027, avec une période de
transition de 6 mois pour les entreprises déjà en activité. Les PME de moins
de 50 salariés bénéficient d'un régime allégé avec des obligations réduites
de reporting."
Return the structured JSON."""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.1
)
To bi moral dobiti – dejansko povzetek, ki jedrnato strne vsebino brez popačenja, in polje za ukrep, ki spremljanje spremeni v odločanje:
{
"titre_court": "AI Act 2.0 : nouvelles obligations de transparence IA",
"resume": "L'UE adopte un renforcement de l'AI Act imposant des rapports trimestriels pour les grands modèles. Les sanctions atteignent 6% du CA mondial. Entrée en vigueur le 1er janvier 2027 avec régime allégé pour les PME.",
"impact_business": "élevé",
"secteurs": ["intelligence artificielle", "technologie", "réglementation"],
"action_requise": true,
"action_detail": "Évaluer la conformité de nos modèles et planifier la mise en place du reporting trimestriel avant janvier 2027."
}
Temperatura je tu nastavljena na 0,1 namesto 0,0: povzetek zahteva rahlo svobodo pri formulaciji, za razliko od čistega pridobivanja, kjer vsaka vrednost izvira neposredno iz izvornega besedila.
3. vaja: Tehnično prevajanje z ohranjanjem oblike
Tretji scenarij: prevedi tehnično dokumentacijo iz francoščine v angleščino, pri čemer natančno ohraniš oblikovanje Markdown in tehnične izraze. Past tehničnega prevajanja je tukaj: pretirano vnet prevajalec bo prevedel temperature kot „température” v primeru kode in dokumentacija se ne bo več ujemala z dejanskim API-jem. Rešitev je izrecno navesti, kaj je nedotakljivo.
messages = [
{
"role": "system",
"content": """You are a technical translator from French to English.
Rules:
- Preserve Markdown formatting EXACTLY (headers, lists, code blocks)
- Do NOT translate terms in backticks
- Do NOT translate variable, function, or parameter names
- Code blocks remain identical (translate comments only)
- Adapt idiomatic expressions to the English technical context
- Use American English"""
},
{
"role": "user",
"content": """Translate this documentation passage:
## Configuration de l'API
Pour commencer, installez le package `mistralai` :
```bash
pip install mistralai
```
### Authentification
Vous devez configurer votre clé API avant tout appel :
```python
# Initialisation du client Mistral
client = Mistral(api_key="votre-clé")
```
**Important** : ne stockez jamais votre clé API en dur dans le code.
Utilisez plutôt des variables d'environnement ou un gestionnaire de secrets.
### Paramètres disponibles
- `temperature` : contrôle la créativité (défaut : 0.7)
- `top_p` : filtrage par probabilité cumulée (défaut : 1.0)
- `max_tokens` : limite de tokens en sortie"""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2
)
Za preverjanje rezultata pregledaj točko za točko: naslovi Markdown (##, ###) so ohranjeni, izrazi v obrnjenih narekovajih (mistralai, temperature, top_p, max_tokens) ostanejo v angleščini, bloki kode so identični razen prevedenega komentarja, krepki tisk (**Important**) je ohranjen in seznami ohranijo svojo strukturo. Vsako odstopanje pri kateri koli od teh točk signalizira pravilo, ki ga je treba okrepiti v sistemskem pozivu.
Napredne tehnike za pridobivanje podatkov
Skoz to delavnico teče eno zlato pravilo: nikoli slepo ne zaupaj izhodu modela. Po pridobivanju vedno validiraj JSON na strani kode:
import json
try:
data = json.loads(response.choices[0].message.content)
# Validate required fields
required_fields = ["numero_facture", "date_facture", "total_ttc"]
for field in required_fields:
if field not in data or data[field] is None:
print(f"Missing field: {field}")
except json.JSONDecodeError:
print("Invalid response, retry with temperature=0")
In če kljub vsemu model ne vrne veljavnega JSON, sledi poti eskalacije:
- Poskusi znova z
temperature=0.0 - Uporabi vnaprejšnje izpolnjevanje s strani asistenta za vsilitev oblike
- Dodaj primer (one-shot) pričakovanega izhoda
- Kot zadnjo možnost razčleni odgovor z regularnim izrazom (regex), da izvlečeš JSON
Ključne ugotovitve
- Vnaprejšnje izpolnjevanje s strani asistenta in zaporedja zaustavitve zagotavljata veljaven JSON
- Vedno navedi točno shemo JSON v pozivu
- Temperatura 0 za pridobivanje, 0,1–0,2 za povzetke
- Sistematično validiraj izhod na strani kode
- Pri tehničnem prevajanju izrecno navedi, česa ne smeš prevajati