Delavnica: Analiza besedila
Na tej strani
Cilj delavnice
Po pisanju preklopimo na drugo področje: ta delavnica te usposobi za uporabo modela Mistral pri analiznih nalogah – analizi sentimenta besedila, ekstrakciji ključnih informacij in razvrščanju vsebine. Te veščine so temeljne za avtomatizacijo obdelave besedilnih podatkov v poslovanju. Kadar človek prebere na desetine podobnih besedil, da bi iz njih izvlekel iste informacije po določeni shemi, imaš kandidata za avtomatizacijo. Opazil boš skupno nit vseh treh vaj: temperatura ostaja nizka, saj je pri analizi doslednost pomembnejša od ustvarjalnosti.
1. vaja: Analiza sentimenta mnenj strank
Predstavljaj si naslednji scenarij: upravljaš službo za podporo strankam na spletni tržnici in vsak dan prejmeš na stotine mnenj. Brati jih vse je nemogoče; analizirati jih moraš samodejno, da zaznaš ponavljajoče se težave in določiš prednostne odgovore. Sistemski poziv določa fiksno analitsko mrežo – sentiment, teme, nujnost, ukrep – in vsiljuje izhod v formatu JSON, da lahko tvoj sistem za upravljanje zahtevkov obdela rezultat.
messages = [
{
"role": "system",
"content": """You are a customer experience analyst.
For each review, provide:
1. Overall sentiment: positive / mixed / negative
2. Topics covered (max 3)
3. Urgency level: low / medium / high
4. Recommended action (1 sentence)
Respond in structured JSON."""
},
{
"role": "user",
"content": """Analyze these 3 customer reviews:
Review 1: "Order received in 2 days, careful packaging. However, the user
manual is only in English, which is a shame for a product sold in France.
The product itself works very well."
Review 2: "This is the THIRD time I've received a defective item. Support
has been giving me the runaround for 2 weeks. I will contact the DGCCRF if
nothing moves."
Review 3: "Good value for money. Nothing exceptional but does the job.
Standard delivery, no issues."
Return a JSON table with the analysis of each review."""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.1
)
Pričakovani rezultat izgleda takole – upoštevaj, da mora mnenje 1, ki je na splošno zadovoljno, a z pridržkom, izpasti kot „mešano” in ne „pozitivno”, mnenje 2 pa mora zaradi grožnje s kontaktiranjem agencije DGCCRF (francoski organ za varstvo potrošnikov) sprožiti visoko stopnjo nujnosti:
[
{
"review": 1,
"sentiment": "mixed",
"themes": ["delivery", "documentation", "product quality"],
"urgency": "low",
"action": "Translate the user manual to French for future batches."
},
{
"review": 2,
"sentiment": "negative",
"themes": ["product quality", "customer service", "recurrence"],
"urgency": "high",
"action": "Escalate to support manager for priority handling."
},
{
"review": 3,
"sentiment": "positive",
"themes": ["value for money", "delivery"],
"urgency": "low",
"action": "No action required, standard satisfied review."
}
]
2. vaja: Ekstrakcija strukturiranih podatkov
Druga situacija: prejemaš e-poštna sporočila s prijavami na delovna mesta v obliki prostega besedila in moraš izvleči ključne informacije za napajanje svojega ATS (sistem za sledenje kandidatom). Glavno tveganje pri ekstrakciji je izmišljevanje: model brez navodil bo z veseljem zapolnil vrzeli z verjetnimi sklepanji. Zato dve kardinalni pravili sistemskega poziva – „ni na voljo” za vse manjkajoče informacije in absolutna prepoved sklepanja.
messages = [
{
"role": "system",
"content": """You extract structured data from free text.
Rules:
- If information is not mentioned, indicate "not provided"
- NEVER deduce information: stay strictly with the text
- Dates must be in YYYY-MM-DD format
- Skills must be normalized terms"""
},
{
"role": "user",
"content": """Extract information from this job application email:
"Hello,
I am submitting my application for the full-stack developer position
published on LinkedIn. My name is Sarah Benali and I have 6 years
of experience in web development. Currently a Lead Developer at DataViz (Paris),
I work primarily with React, Node.js, and PostgreSQL. I also have
strong experience with AWS and Docker. My current daily rate is
€650 and I am available starting May 15, 2026.
Best regards,
Sarah Benali"
Expected JSON format:
{
"name": "",
"target_role": "",
"experience_years": 0,
"current_role": "",
"current_company": "",
"location": "",
"skills": [],
"daily_rate": "",
"availability": ""
}"""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.0
)
Tukaj je izhod, ki bi ga moral dobiti:
{
"name": "Sarah Benali",
"target_role": "Full-stack developer",
"experience_years": 6,
"current_role": "Lead Developer",
"current_company": "DataViz",
"location": "Paris",
"skills": ["React", "Node.js", "PostgreSQL", "AWS", "Docker"],
"daily_rate": "€650",
"availability": "2026-05-15"
}
Upoštevaj temperaturo 0,0: pri ekstrakciji želiš determinističen odgovor, zvest izvirnemu besedilu. Prav tako bodi pozoren na pretvorbo datuma v format ISO, ki je izrecno zahtevana v pravilih – brez tega navodila bi model preprosto kopiral „May 15, 2026” tako, kot je.
3. vaja: Razvrščanje zahtevkov za podporo
Zadnja situacija: tvoja ekipa za podporo prejme nerazvrščene zahtevke, ki jih je treba samodejno usmeriti v pravi oddelek. Ključ do te vaje je izčrpna opredelitev kategorij in prioritet v sistemskem pozivu. Če modelu dovoliš, da si izmisli lastno taksonomijo, bo vsaka serija zahtevkov izšla z drugačnimi kategorijami in tvoje usmerjanje bo postalo neobvladljivo.
messages = [
{
"role": "system",
"content": """You classify technical support tickets.
Available categories:
- BILLING: payment issues, invoices, subscriptions, refunds
- TECHNICAL: bugs, errors, functionality issues, slowness
- ACCOUNT: login, password, settings, account deletion
- FEATURE: requests for new features, suggestions
- OTHER: anything that doesn't fit the categories above
Priorities:
- P1: service inaccessible, data loss, direct financial impact
- P2: degraded functionality, workaround possible
- P3: question, information request, suggestion
Respond ONLY in JSON, no text before or after."""
},
{
"role": "user",
"content": """Classify these 4 tickets:
Ticket A: "Unable to log in since this morning. I tried to
reset my password but I'm not receiving the email."
Ticket B: "Would it be possible to add an Excel export in addition to CSV?"
Ticket C: "I was charged twice for my March subscription."
Ticket D: "The app crashes when I import a file larger than 50 MB.
Error message: MEMORY_EXCEEDED."
Format:
[{"ticket": "A", "category": "", "priority": "", "service": "", "summary": ""}]"""
}
]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.0
)
Pričakovani rezultat – upoštevaj, da zahtevek C zaradi neposrednega finančnega vpliva spada v P1, medtem ko tehnična napaka (sesutje) v zahtevku D ostane pri P2, saj obstaja obhodna rešitev:
[
{
"ticket": "A",
"category": "ACCOUNT",
"priority": "P2",
"service": "Level 1 Support",
"summary": "Unable to log in, reset email not received"
},
{
"ticket": "B",
"category": "FEATURE",
"priority": "P3",
"service": "Product",
"summary": "Request for Excel export in addition to CSV"
},
{
"ticket": "C",
"category": "BILLING",
"priority": "P1",
"service": "Accounting",
"summary": "Double charge March subscription, refund request"
},
{
"ticket": "D",
"category": "TECHNICAL",
"priority": "P2",
"service": "Development",
"summary": "Crash importing large files (MEMORY_EXCEEDED)"
}
]
Nasveti za analizne naloge
Štiri najboljše prakse povzemajo metodo te delavnice. Pri razvrščanju in ekstrakciji delaj s temperaturo 0: želiš doslednost, ne navdiha. Kategorije v sistemskem pozivu opredeli izrecno, sicer si bo model izmislil svoje. Vedno vključi navodilo „ni na voljo” za manjkajoče podatke, sicer bo model vrzeli zapolnil z verjetnimi izmišljotinami. In pred vsako uvedbo v proizvodno okolje testiraj na robnih primerih: dvoumna besedila, zahtevki, ki spadajo v dve kategoriji, delni podatki – tukaj bo tvoja mreža pokazala šibkosti, ne pri učbeniških primerih.
Ključne ugotovitve
- Analiza besedila z modelom Mistral najbolje deluje pri nizki temperaturi (0–0,2)
- V pozivu vedno opredeli kategorije in format izhoda
- Vsili pravilo „ni na voljo”, da preprečiš halucinacije
- Primeri z malo vzorci (few-shot) izboljšajo doslednost razvrščanja
- Pred uvedbo v proizvodno okolje testiraj na reprezentativnih realnih primerih