Darbnīca: Strukturēta datu ieguve
Šajā lapā
Darbnīcas mērķis
Šī darbnīca attīsta iepriekšējā nodarbībā apgūto prasmi: strukturētu datu ieguvi, kas nozīmē brīvā teksta pārveidošanu programmām izmantojamos datos. Tā veido tiltu starp dabisko valodu un tavām informācijas sistēmām — PDF formātā saņemts rēķins kļūst par ierakstu grāmatvedības programmā, bet uzraudzības raksts pārvēršas par ierakstu informācijas panelī. Tu praktizēsi trīs uzdevumus ar Mistral modeļiem: JSON datu ieguve, dokumentu kopsavilkumu izveide noteiktā formātā un tehniskā tulkošana, saglabājot formatējumu. Tāpat tu atkārtosi divas paņēmienus no parametru sadaļas: asistenta iepriekšēju aizpildīšanu un apturēšanas secības.
1. uzdevums: JSON datu ieguve no brīvā teksta
Sākuma scenārijs: tu automatizē pa e-pastu saņemto rēķinu apstrādi. Teksts katram piegādātājam atšķiras, taču tev vienmēr jāiegūst vieni un tie paši lauki. Sistēmas prompts nosaka visu iespējamo: tīru JSON bez komentāriem, null trūkstošajiem laukiem (nevis “nav norādīts” vai tukšas virknes, jo tavs kods pārbaudīs is None), summas kā skaitļus bez valūtas simboliem, datumus ISO 8601 formātā un PVN atsevišķi no summas bez nodokļa. Katrs no šiem noteikumiem novērš kļūdas turpmākajā datu apstrādē.
messages = [
{
"role": "system",
"content": """You are a data extractor specialized in accounting documents.
Strict rules:
- Return ONLY valid JSON, no comments or additional text
- If a field is not found, use null (not "not provided", not "")
- Amounts must be numbers (no euro symbol in the value)
- Dates in ISO 8601 format (YYYY-MM-DD)
- VAT must be extracted separately from the pre-tax amount"""
},
{
"role": "user",
"content": """Extract data from this invoice:
"FACTURE N° 2026-0847
Date : 15 mars 2026
De : CloudServ SAS
42 rue de la Paix, 75002 Paris
SIRET : 823 456 789 00012
À : TechCorp SARL
12 avenue des Champs, 69001 Lyon
Désignation : Hébergement cloud - Pack Premium
Période : 01/03/2026 au 31/03/2026
Montant HT : 1 250,00 EUR
TVA 20% : 250,00 EUR
Total TTC : 1 500,00 EUR
Conditions de paiement : 30 jours fin de mois
IBAN : FR76 3000 4000 0500 0001 2345 678"
JSON Schema:
{
"numero_facture": "string",
"date_facture": "string (YYYY-MM-DD)",
"fournisseur": {
"nom": "string",
"adresse": "string",
"siret": "string"
},
"client": {
"nom": "string",
"adresse": "string"
},
"lignes": [
{
"designation": "string",
"periode": "string",
"montant_ht": "number"
}
],
"tva_taux": "number",
"tva_montant": "number",
"total_ttc": "number",
"conditions_paiement": "string",
"iban": "string"
}"""
},
{
"role": "assistant",
"content": "{"
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.0,
stop=["\n}"]
)
# Reconstruct the JSON: "{" + response + "\n}"
Paredzamais rezultāts:
{
"numero_facture": "2026-0847",
"date_facture": "2026-03-15",
"fournisseur": {
"nom": "CloudServ SAS",
"adresse": "42 rue de la Paix, 75002 Paris",
"siret": "823 456 789 00012"
},
"client": {
"nom": "TechCorp SARL",
"adresse": "12 avenue des Champs, 69001 Lyon"
},
"lignes": [
{
"designation": "Hébergement cloud - Pack Premium",
"periode": "01/03/2026 au 31/03/2026",
"montant_ht": 1250.00
}
],
"tva_taux": 20,
"tva_montant": 250.00,
"total_ttc": 1500.00,
"conditions_paiement": "30 jours fin de mois",
"iban": "FR76 3000 4000 0500 0001 2345 678"
}
Ievēro asistenta iepriekšējas aizpildīšanas (ziņojums "{") un apturēšanas secības kombināciju: pirmais liek modelim uzreiz ģenerēt JSON bez ievada frāzēm, piemēram, „Lūk, iegūtie dati:”, bet otrais neļauj tam turpināt tekstu pēc noslēdzošās iekavas. Pēc tam tu kodā rekonstruē pilnu JSON objektu.
2. uzdevums: Strukturēts dokumentu kopsavilkums
Otrais scenārijs: tu papildini iekšējo uzraudzības informācijas paneli ar garu ziņojumu kopsavilkumiem. Lai nodrošinātu vienotu attēlojumu, katram kopsavilkumam jāatbilst tieši vienam un tam pašam formātam — sistēmas prompts to nodrošina, lauku pa laukam, ar garuma ierobežojumiem.
messages = [
{
"role": "system",
"content": """You produce structured summaries for a monitoring dashboard.
Mandatory format for each summary:
{
"titre_court": "max 60 characters",
"resume": "max 3 sentences, factual, no opinion",
"impact_business": "low | medium | high",
"secteurs": ["list of affected sectors"],
"action_requise": true/false,
"action_detail": "description if action required, null otherwise"
}"""
},
{
"role": "user",
"content": """Summarize this article for our monitoring dashboard:
"L'Union européenne a adopté le 28 mars 2026 un nouveau règlement sur
l'intelligence artificielle (AI Act 2.0) qui renforce les obligations de
transparence pour les systèmes de génération de texte et d'images. Les
entreprises qui déploient des modèles de plus de 10 milliards de paramètres
devront désormais publier un rapport d'évaluation des risques trimestriel et
mettre en place un système de traçabilité des contenus générés. Les sanctions
pour non-conformité peuvent atteindre 6% du chiffre d'affaires mondial annuel.
Le règlement entre en vigueur le 1er janvier 2027, avec une période de
transition de 6 mois pour les entreprises déjà en activité. Les PME de moins
de 50 salariés bénéficient d'un régime allégé avec des obligations réduites
de reporting."
Return the structured JSON."""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.1
)
Lūk, ko tev vajadzētu iegūt — faktisku kopsavilkumu, kas kondensē informāciju to nesagrozot, un darbības lauku, kas pārvērš uzraudzību lēmumā:
{
"titre_court": "AI Act 2.0 : nouvelles obligations de transparence IA",
"resume": "L'UE adopte un renforcement de l'AI Act imposant des rapports trimestriels pour les grands modèles. Les sanctions atteignent 6% du CA mondial. Entrée en vigueur le 1er janvier 2027 avec régime allégé pour les PME.",
"impact_business": "élevé",
"secteurs": ["intelligence artificielle", "technologie", "réglementation"],
"action_requise": true,
"action_detail": "Évaluer la conformité de nos modèles et planifier la mise en place du reporting trimestriel avant janvier 2027."
}
Šeit temperatūra ir iestatīta uz 0.1, nevis 0.0: kopsavilkumam nepieciešama neliela brīvība formulējumos, atšķirībā no tīras datu ieguves, kur katra vērtība nāk tieši no avota teksta.
3. uzdevums: Tehniskā tulkošana, saglabājot formatējumu
Trešais scenārijs: tulko tehnisko dokumentāciju no franču valodas angļu valodā, saglabājot Markdown formatējumu un tehniskos terminus tieši tādos, kādi tie ir. Tehniskās tulkošanas slazds slēpjas šeit: pārlieku centīgs tulkotājs var pārtulkot temperature kā „température” koda piemērā, un dokumentācija vairs neatbilst faktiskajai API. Risinājums ir skaidri uzskaitīt to, ko nedrīkst mainīt.
messages = [
{
"role": "system",
"content": """You are a technical translator from French to English.
Rules:
- Preserve Markdown formatting EXACTLY (headers, lists, code blocks)
- Do NOT translate terms in backticks
- Do NOT translate variable, function, or parameter names
- Code blocks remain identical (translate comments only)
- Adapt idiomatic expressions to the English technical context
- Use American English"""
},
{
"role": "user",
"content": """Translate this documentation passage:
## Configuration de l'API
Pour commencer, installez le package `mistralai` :
```bash
pip install mistralai
```
### Authentification
Vous devez configurer votre clé API avant tout appel :
```python
# Initialisation du client Mistral
client = Mistral(api_key="votre-clé")
```
**Important** : ne stockez jamais votre clé API en dur dans le code.
Utilisez plutôt des variables d'environnement ou un gestionnaire de secrets.
### Paramètres disponibles
- `temperature` : contrôle la créativité (défaut : 0.7)
- `top_p` : filtrage par probabilité cumulée (défaut : 1.0)
- `max_tokens` : limite de tokens en sortie"""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2
)
Lai validētu rezultātu, pārbaudi punktveida: Markdown virsraksti (##, ###) ir saglabāti, termini atpakaļkomatos (mistralai, temperature, top_p, max_tokens) paliek angļu valodā, koda bloki ir identiski, izņemot pārtulkoto komentāru, treknraksts (**Important**) ir saglabāts, un saraksti saglabā savu struktūru. Jebkura novirze kādā no šiem punktiem liecina, ka sistēmas promptā jāpastiprina attiecīgais noteikums.
Uzlabotas datu ieguves tehnikas
Šo darbnīcu caurvij viens zelta likums: nekad nepadodies modeļa izvadei akli. Pēc datu ieguves vienmē validē JSON kodā:
import json
try:
data = json.loads(response.choices[0].message.content)
# Validate required fields
required_fields = ["numero_facture", "date_facture", "total_ttc"]
for field in required_fields:
if field not in data or data[field] is None:
print(f"Missing field: {field}")
except json.JSONDecodeError:
print("Invalid response, retry with temperature=0")
Un ja, neskatoties uz visu, models neatgriež derīgu JSON, ievēro eskalācijas ceļu:
- Mēģini vēlreiz ar
temperature=0.0 - Izmanto asistenta iepriekšēju aizpildīšanu, lai piespiestu formatu
- Pievieno vienu piemēru (one-shot) no paredzamās izvades
- Kā pēdējo līdzekli izmanto regulāro izteiksmi (regex), lai izgūtu JSON no atbildes
Galvenās atziņas
- Asistenta iepriekšēja aizpildīšana un apturēšanas secības garantē derīgu JSON
- Vienmēr norādi precīzu JSON shēmu promptā
- Temperatūra 0 datu ieguvei, 0.1–0.2 kopsavilkumiem
- Sistemātiski validē izvadi kodā
- Tehniskajai tulkošanai skaidri uzskaiti to, ko nedrīkst tulkot