Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Työpaja: Jäsennelty tietojen poiminta

Oppitunti 15 / 16 Päivitetty 28. heinäkuuta 2026 Aloittelija
Tällä sivulla
  1. Työpajan tavoite
  2. Tehtävä 1: JSON-poiminta vapaasta tekstistä
  3. Tehtävä 2: Jäsennelty dokumenttien tiivistäminen
  4. Tehtävä 3: Tekninen kääntäminen muotoilun säilyttäen
  5. Keskeiset asiat

Työpajan tavoite

Tämä työpaja syventää edellisessä osiossa esiteltyä taitoa: jäsenneltyä tietojen poimintaa, eli vapaan tekstin muuntamista ohjelmien käsiteltäväksi kelpaavaksi dataksi. Se toimii silta luonnollisen kielen ja tietojärjestelmiesi välillä – sähköpostina saapunut lasku muuttuu kirjanpito-ohjelmistosi riviksi, ja seuranta-artikkeli dashboardin merkinnäksi. Harjoittelet kolme tehtävää Mistral-malleilla: JSON-poiminta, dokumenttien tiivistäminen määrättyyn muotoon sekä tekninen kääntäminen muotoilun säilyttäen. Kertaat myös kahta parametriosiosta tuttua tekniikkaa: avustajan esitäyttöä ja lopetussekvenssejä.

Tehtävä 1: JSON-poiminta vapaasta tekstistä

Lähtötilanne: automatisoit sähköpostitse saapuvien laskujen käsittelyä. Teksti vaihtelee toimittajasta toiseen, mutta sinun on aina poimittavat samat kentät. Järjestelmäkehotteella lukitaan kaikki mahdollinen: puhdas JSON ilman kommentteja, null puuttuville kentille (ei “ei annettu” eikä tyhjät merkkijonot, sillä koodisi tarkistaa ehdon is None), summat numeroina ilman valuuttamerkkejä, päivämäärät ISO 8601 -muodossa ja ALV erotettuna verottomasta summasta. Jokainen näistä säännöistä estää myöhemmän jäsentämisvirheen.

messages = [
    {
        "role": "system",
        "content": """You are a data extractor specialized in accounting documents.
Strict rules:
- Return ONLY valid JSON, no comments or additional text
- If a field is not found, use null (not "not provided", not "")
- Amounts must be numbers (no euro symbol in the value)
- Dates in ISO 8601 format (YYYY-MM-DD)
- VAT must be extracted separately from the pre-tax amount"""
    },
    {
        "role": "user",
        "content": """Extract data from this invoice:

"FACTURE N° 2026-0847
Date : 15 mars 2026

De : CloudServ SAS
     42 rue de la Paix, 75002 Paris
     SIRET : 823 456 789 00012

À : TechCorp SARL
    12 avenue des Champs, 69001 Lyon

Désignation : Hébergement cloud - Pack Premium
Période : 01/03/2026 au 31/03/2026
Montant HT : 1 250,00 EUR
TVA 20% : 250,00 EUR
Total TTC : 1 500,00 EUR

Conditions de paiement : 30 jours fin de mois
IBAN : FR76 3000 4000 0500 0001 2345 678"

JSON Schema:
{
  "numero_facture": "string",
  "date_facture": "string (YYYY-MM-DD)",
  "fournisseur": {
    "nom": "string",
    "adresse": "string",
    "siret": "string"
  },
  "client": {
    "nom": "string",
    "adresse": "string"
  },
  "lignes": [
    {
      "designation": "string",
      "periode": "string",
      "montant_ht": "number"
    }
  ],
  "tva_taux": "number",
  "tva_montant": "number",
  "total_ttc": "number",
  "conditions_paiement": "string",
  "iban": "string"
}"""
    },
    {
        "role": "assistant",
        "content": "{"
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.0,
    stop=["\n}"]
)
# Reconstruct the JSON: "{" + response + "\n}"

Odotettu tulos:

{
  "numero_facture": "2026-0847",
  "date_facture": "2026-03-15",
  "fournisseur": {
    "nom": "CloudServ SAS",
    "adresse": "42 rue de la Paix, 75002 Paris",
    "siret": "823 456 789 00012"
  },
  "client": {
    "nom": "TechCorp SARL",
    "adresse": "12 avenue des Champs, 69001 Lyon"
  },
  "lignes": [
    {
      "designation": "Hébergement cloud - Pack Premium",
      "periode": "01/03/2026 au 31/03/2026",
      "montant_ht": 1250.00
    }
  ],
  "tva_taux": 20,
  "tva_montant": 250.00,
  "total_ttc": 1500.00,
  "conditions_paiement": "30 jours fin de mois",
  "iban": "FR76 3000 4000 0500 0001 2345 678"
}

Huomaa avustajan esitäytön ("{"-viesti) ja lopetussekvenssin yhdistelmä: ensimmäinen pakottaa mallin suoraan JSON-muotoon ilman johdantotekstiä kuten “Tässä on poimitut tiedot:”, ja toinen estää mallia jatkamasta kirjoittamista sulkevan aaltosulun jälkeen. Tämän jälkeen rakennat täydellisen JSON-rakenteen koodipuolella.

Tehtävä 2: Jäsennelty dokumenttien tiivistäminen

Toinen skenaario: syötät sisäiseen seuranta-dashboardiin pitkien raporttien tiivistelmiä. Näytön yhtenäisyyden varmistamiseksi jokaisen tiivistelmän on noudatettava täsmälleen samaa muotoa – järjestelmäkehote valvoo tätä kenttä kerrallaan pituusrajoituksineen.

messages = [
    {
        "role": "system",
        "content": """You produce structured summaries for a monitoring dashboard.
Mandatory format for each summary:
{
  "titre_court": "max 60 characters",
  "resume": "max 3 sentences, factual, no opinion",
  "impact_business": "low | medium | high",
  "secteurs": ["list of affected sectors"],
  "action_requise": true/false,
  "action_detail": "description if action required, null otherwise"
}"""
    },
    {
        "role": "user",
        "content": """Summarize this article for our monitoring dashboard:

"L'Union européenne a adopté le 28 mars 2026 un nouveau règlement sur
l'intelligence artificielle (AI Act 2.0) qui renforce les obligations de
transparence pour les systèmes de génération de texte et d'images. Les
entreprises qui déploient des modèles de plus de 10 milliards de paramètres
devront désormais publier un rapport d'évaluation des risques trimestriel et
mettre en place un système de traçabilité des contenus générés. Les sanctions
pour non-conformité peuvent atteindre 6% du chiffre d'affaires mondial annuel.
Le règlement entre en vigueur le 1er janvier 2027, avec une période de
transition de 6 mois pour les entreprises déjà en activité. Les PME de moins
de 50 salariés bénéficient d'un régime allégé avec des obligations réduites
de reporting."

Return the structured JSON."""
    }
]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.1
)

Tässä on odotettu tulos – faktapohjainen tiivistelmä, joka tiivistää vääristämättä, sekä toimintakenttä, joka muuttaa seurannan päätöksenteoksi:

{
  "titre_court": "AI Act 2.0 : nouvelles obligations de transparence IA",
  "resume": "L'UE adopte un renforcement de l'AI Act imposant des rapports trimestriels pour les grands modèles. Les sanctions atteignent 6% du CA mondial. Entrée en vigueur le 1er janvier 2027 avec régime allégé pour les PME.",
  "impact_business": "élevé",
  "secteurs": ["intelligence artificielle", "technologie", "réglementation"],
  "action_requise": true,
  "action_detail": "Évaluer la conformité de nos modèles et planifier la mise en place du reporting trimestriel avant janvier 2027."
}

Lämpötila on tässä 0,1 eikä 0,0: tiivistelmä vaatii hieman liikkumavaraa sanamuodoissa, toisin kuin puhdas poiminta, jossa jokainen arvo tulee suoraan lähdetekstistä.

Tehtävä 3: Tekninen kääntäminen muotoilun säilyttäen

Kolmas skenaario: käännä teknistä dokumentaatiota ranskasta englantiin säilyttäen Markdown-muotoilu ja tekniset termit täsmälleen sellaisinaan. Teknisen kääntämisen sudenkuoppa piilee tässä: liian innokas kääntäjä kääntää koodiesimerkissä olevan temperature-termin muotoon “température”, jolloin dokumentaatio ei enää vastaa todellista APIa. Ratkaisu on luetella eksplisiittisesti, mitä ei saa koskea.

messages = [
    {
        "role": "system",
        "content": """You are a technical translator from French to English.

Rules:
- Preserve Markdown formatting EXACTLY (headers, lists, code blocks)
- Do NOT translate terms in backticks
- Do NOT translate variable, function, or parameter names
- Code blocks remain identical (translate comments only)
- Adapt idiomatic expressions to the English technical context
- Use American English"""
    },
    {
        "role": "user",
        "content": """Translate this documentation passage:

## Configuration de l'API

Pour commencer, installez le package `mistralai` :

```bash
pip install mistralai

Authentification

Vous devez configurer votre clé API avant tout appel :

# Initialisation du client Mistral
client = Mistral(api_key="votre-clé")

Important : ne stockez jamais votre clé API en dur dans le code. Utilisez plutôt des variables d’environnement ou un gestionnaire de secrets.

Paramètres disponibles

  • temperature : contrôle la créativité (défaut : 0.7)
  • top_p : filtrage par probabilité cumulée (défaut : 1.0)
  • max_tokens : limite de tokens en sortie""" } ]

response = client.chat.complete( model=“mistral-large-latest”, messages=messages, temperature=0.2 )

Tuloksen validoimiseksi tarkista kohta kohdalta: Markdown-otsikot (`##`, `###`) säilyvät, backtickien sisällä olevat termit (`mistralai`, `temperature`, `top_p`, `max_tokens`) pysyvät englanninkielisinä, koodilohkot ovat identtisiä lukuun ottamatta käännettyä kommenttia, lihavoitu teksti (`**Important**`) säilyy ja listat pitävät rakenteensa. Mikä tahansa poikkeama näistä kohdista kertoo, että järjestelmäkehotetta on vahvistettava.

## Edistyneet tekniikat poimintaan

Tämän työpajan läpi kulkee yksi kultainen sääntö: älä koskaan luota sokeasti mallin tuottamaan tulokseen. Poiminnan jälkeen validoi JSON aina koodipuolella:

```python
import json

try:
    data = json.loads(response.choices[0].message.content)
    # Validate required fields
    required_fields = ["numero_facture", "date_facture", "total_ttc"]
    for field in required_fields:
        if field not in data or data[field] is None:
            print(f"Missing field: {field}")
except json.JSONDecodeError:
    print("Invalid response, retry with temperature=0")

Ja jos malli ei kaikesta huolimatta palauta kelvollista JSONia, noudata eskalointipolkua:

  1. Yritä uudelleen asetuksella temperature=0.0
  2. Käytä avustajan esitäyttöä pakottaaksesi muodon
  3. Lisää esimerkki (one-shot) odotetusta tuloksesta
  4. Viimeisenä keinona jäsennä vastaus regexillä JSONin erottamiseksi

Keskeiset asiat

  • Avustajan esitäyttö ja lopetussekvenssit takaavat kelvollisen JSONin
  • Anna aina tarkka JSON-skeema kehotteessa
  • Lämpötila 0 poimintaan, 0,1–0,2 tiivistelmiin
  • Validoi tuotos systemaattisesti koodipuolella
  • Teknisessä kääntämisessä listaa eksplisiittisesti, mitä ei saa kääntää