Ekstrakcija strukturētu vienību
Šajā lapā
Nodarbība atjaunināta 2026. gada 3. novembrī, pamatojoties uz OpenAI dokumentāciju: parametri
temperatureuntop_ptiek pieņemti tikai ar spriešanas piepūlinone, savukārt GPT-5.6 modeļi pēc noklusējuma veic spriešanu (medium). Tādēļ izsaukumos, kuros ir norādīti šie parametri, ir jāprecizēreasoning={"effort": "none"}(Responses API) vaireasoning_effort="none"(Chat Completions). Avoti: Using GPT-6 · GPT-5.6 Terra.
Ekstrakcija strukturētu vienību
Strukturētu vienību ekstrakcija ir viens no vispieprasītākajiem lietojumiem ražošanas vidē: brīvā teksta (e-pasti, dokumenti, tīmekļa lapas) pārveidošana datos, kurus tava lietotne faktiski var izmantot. Apvienojot strukturētu izvadi ar specializētiem uzdevumiem, vari izveidot uzticamus ekstrakcijas konveijerus, neapmācot atsevišķu NER modeli.
Pamata ekstrakcijas konveijers
Visa ekstrakcijas specifika slēpjas tālāk redzamās funkcijas sistēmas uzdevumā, un tam ir jāveltī īpaša uzmanība. Šeit pārklājas trīs instrukcijas: ekstrahē tikai to, kas ir klātesošs; trūkstošajiem datiem izmanto null; un nekad nesecini informāciju, kas nav tieši minēta.
Pēdējais teikums praksē ir vissvarīgākais. Ja to atstāj paša ziņā, models ar prieku ierakstīs ticamu SIRET numuru vai uzminēs pilsētu pēc pasta indeksa ar vislabākajiem nodomiem. Ekstrakcijai, kas paredzēta biznesa sistēmai, šī vēlme palīdzēt ir nopietns trūkums: tiklīdz dati nonāk datubāzē, vairs nav iespējams atšķirt to, kas tika nolasīts, no tā, kas tika pieņemts. Parametra temperature iestatīšana uz 0.0 kalpo tam pašam mērķim — divos viena un tā paša dokumenta apstrādes ciklos tev ir jāsaņem vienāda izvade, kaut vai tikai lai reproducētu incidentu.
import json
from openai import OpenAI
client = OpenAI()
def extract_entities(text: str, schema: dict,
instructions: str = "") -> dict:
"""Ekstrahē strukturētas vienības no brīvā teksta."""
system = (
"You are a specialized entity extractor. "
"Extract ONLY information present in the text. "
"If information is missing, use null. "
"NEVER infer information not explicitly mentioned."
)
if instructions:
system += f"\n\nAdditional instructions: {instructions}"
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
instructions=system,
input=f"Text to analyze:\n\n{text}",
text={
"format": {
"type": "json_schema",
"name": "extraction",
"schema": schema,
"strict": True
}
},
temperature=0.0
)
return json.loads(response.output_text)
1. piemērs: Dzīvesgājuma apraksta (CV) ekstrakcija
Dzīvesgājuma apraksts ir lielisks testēšanas lauks, jo tas apvieno stabilas sadaļas ar pilnīgi brīvu izkārtojumu. Tālāk redzamā shēma kontaktinformāciju grupē objektā identity, kur gandrīz katrs lauks ir nullable — kandidāts var nesnorādīt tālruņa numuru, un šī lauka padarīšana par obligātu faktiski uzaicinātu modeli to izgudrot.
Prasmes nav vienkāršas virknes, bet gan objekti ar trim atribūtiem, kas ļauj saglabāt norādīto līmeni un kategorizēt katru prasmi. Bez šiem enumiem „Scrum” un „Python” nonāktu blakus vienā plakanā sarakstā, kas ir bezjēdzīgi filtram, kurš mēģina izolēt valodas. Ņem vērā arī lauku end_date pieredzes ierakstos, kas ir nullable, turpretī start_date nav: tieši tā tu kodē pašreizējo amatu, neizgudrojot pašdarinātas konvencijas, piemēram, „present” vai „9999”. Testa dzīvesgājuma aprakstā šī smalkā atšķirība izpaužas TechCorp rindiņā.
resume_schema = {
"type": "object",
"properties": {
"identity": {
"type": "object",
"properties": {
"full_name": {"type": "string"},
"email": {"type": ["string", "null"]},
"phone": {"type": ["string", "null"]},
"location": {"type": ["string", "null"]},
"linkedin": {"type": ["string", "null"]}
},
"required": ["full_name", "email", "phone",
"location", "linkedin"],
"additionalProperties": False
},
"current_title": {"type": ["string", "null"]},
"years_experience": {"type": ["integer", "null"]},
"skills": {
"type": "array",
"items": {
"type": "object",
"properties": {
"name": {"type": "string"},
"level": {
"type": "string",
"enum": ["beginner", "intermediate",
"advanced", "expert"]
},
"category": {
"type": "string",
"enum": ["language", "framework", "tool",
"methodology", "soft_skill"]
}
},
"required": ["name", "level", "category"],
"additionalProperties": False
}
},
"experiences": {
"type": "array",
"items": {
"type": "object",
"properties": {
"company": {"type": "string"},
"title": {"type": "string"},
"start_date": {"type": "string"},
"end_date": {"type": ["string", "null"]},
"description": {"type": "string"}
},
"required": ["company", "title", "start_date",
"end_date", "description"],
"additionalProperties": False
}
},
"education": {
"type": "array",
"items": {
"type": "object",
"properties": {
"institution": {"type": "string"},
"degree": {"type": "string"},
"year": {"type": ["string", "null"]}
},
"required": ["institution", "degree", "year"],
"additionalProperties": False
}
},
"languages": {
"type": "array",
"items": {
"type": "object",
"properties": {
"language": {"type": "string"},
"level": {
"type": "string",
"enum": ["a1", "a2", "b1", "b2",
"c1", "c2", "native"]
}
},
"required": ["language", "level"],
"additionalProperties": False
}
}
},
"required": ["identity", "current_title", "years_experience",
"skills", "experiences", "education", "languages"],
"additionalProperties": False
}
resume_text = """
Marie Dupont - Senior Full Stack Developer
Email: [email protected] | Tel: +33 6 12 34 56 78
Paris, France | linkedin.com/in/mariedupont
8 years of experience in web development.
Skills: Python (expert), TypeScript (advanced), React (advanced),
Django (expert), PostgreSQL (advanced), Docker (intermediate),
Scrum (advanced)
Experience:
- TechCorp (2022-present): Lead Full Stack Developer
Principal architect of a B2B SaaS platform, team of 6 devs.
- StartupAI (2019-2022): Senior Developer
Development of ML APIs in Python/FastAPI.
Education:
- EPITECH Paris, Master in Computer Science (2017)
Languages: French (native), English (C1), Spanish (B1)
"""
result = extract_entities(resume_text, resume_schema)
2. piemērs: Komerciāla e-pasta ekstrakcija
Otrajā piemērā mainās būtība: mēs vairs tikai nekopējam informāciju, bet gan lūdzam modelim to interpretēt. Lauki intent un urgency ir spriedumi — nevienā e-pasta teikumā nav teikts „šis ir cenu pieprasījums, augsta prioritāte”. Tieši to nevar izdarīt klasiska ekstrakcijas konveijera, kas balstīts uz noteikumiem vai regulārām izteiksmēm, un tieši tas attaisno LLM izmantošanu šeit, nevis citur.
Pārējā shēma atgriežas pie pārbaudāmiem faktiem: minētie produkti, summas ar to kontekstu, datumi un to nozīme, nepieciešamās darbības. Lauks summary noslēdz objektu un kalpo cilvēkam, kurš pārskatīs rindu, nevis kodam. Viens piesardzības punkts attiecībā uz šo jaukto shēmu: kļūda spriedumā par urgency neanulē summas, bet otrādi var notikt, jo models, kas nepareizi saprot nodomu, dažreiz pārējo lasa caur šo nepareizo izpratni. Ja klasifikācija ir kritiska tavai maršrutēšanai, atdali to atsevišķā izsaukumā.
email_schema = {
"type": "object",
"properties": {
"intent": {
"type": "string",
"enum": ["quote_request", "complaint", "information",
"order", "partnership", "other"]
},
"urgency": {
"type": "string",
"enum": ["critical", "high", "normal", "low"]
},
"sender": {
"type": "object",
"properties": {
"name": {"type": ["string", "null"]},
"company": {"type": ["string", "null"]},
"email": {"type": ["string", "null"]}
},
"required": ["name", "company", "email"],
"additionalProperties": False
},
"mentioned_products": {
"type": "array",
"items": {"type": "string"}
},
"mentioned_amounts": {
"type": "array",
"items": {
"type": "object",
"properties": {
"value": {"type": "number"},
"currency": {"type": "string"},
"context": {"type": "string"}
},
"required": ["value", "currency", "context"],
"additionalProperties": False
}
},
"key_dates": {
"type": "array",
"items": {
"type": "object",
"properties": {
"date": {"type": "string"},
"significance": {"type": "string"}
},
"required": ["date", "significance"],
"additionalProperties": False
}
},
"required_actions": {
"type": "array",
"items": {"type": "string"}
},
"summary": {"type": "string"}
},
"required": ["intent", "urgency", "sender",
"mentioned_products", "mentioned_amounts",
"key_dates", "required_actions", "summary"],
"additionalProperties": False
}
Partijas ekstrakcija
Lai apstrādātu lielus apjomus, paralēlizē savas ekstrakcijas. Sekvenciāla cilpa pār tūkstoš dokumentiem lielāko daļu laika pavada, gaidot tīklu; izmantojot asyncio, šīs gaidīšanās pārklājas un partija tiek apstrādāta daļā no laika.
Semafors nav tikai dekoratīva detaļa. Bez tā tūkstoša uzdevumu vienlaicīga palaišana piesātinās tavu kvotu un izraisīs ātruma ierobežojuma kļūdas, kuru atkārtojumi izmaksā vairāk, nekā tiek ietaupīts ātrumā. Iestati vērtību max_concurrent, novērojot savus ierobežojumus, kur desmit ir piesardzīgs sākumpunkts. Ņem vērā arī return_exceptions=True: tas novērš viena nepareizi formatēta dokumenta izraisītu visas partijas sabrukumu, ļaujot tev vēlāk sakārtot neveiksmes.
import asyncio
from openai import AsyncOpenAI
async_client = AsyncOpenAI()
async def extract_batch(texts: list[str], schema: dict,
max_concurrent: int = 10) -> list[dict]:
"""Paralēla ekstrakcija ar vienlaicīguma kontroli."""
semaphore = asyncio.Semaphore(max_concurrent)
async def extract_one(text: str) -> dict:
async with semaphore:
response = await async_client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
instructions="Extract entities from the provided text. "
"Use null for missing fields.",
input=text,
text={
"format": {
"type": "json_schema",
"name": "extraction",
"schema": schema,
"strict": True
}
},
temperature=0.0
)
return json.loads(response.output_text)
tasks = [extract_one(t) for t in texts]
return await asyncio.gather(*tasks, return_exceptions=True)
Ekstrakcijas kvalitātes novērtēšana
Ekstrakcijas konveijers bez anotētas testa kopas ir konveijers, kura uzticamību neviens nezina, un iespaids, ko atstāj trīs ar roku nolasīti piemēri, gandrīz vienmēr izrādās pārāk optimistisks. Tālāk redzamā funkcija salīdzina iegūto ekstrakciju lauku pa laukam ar manuāli izveidotu atsauces vērtību, atgriežot kopējo precizitāti kopā ar neatbilstību sadalījumu.
Šis sadalījums ir tā daļa, kas ir noderīga: kļūdas gandrīz nekad nav vienmērīgi sadalītas. Viens lauks koncentrē problēmas — bieži vien tas ir neskaidrs datums, implicīts prasmju līmenis vai slikti definēta kategorija — un viena sistēmas uzdevumam pievienota teikuma to salabo. Bez šī mērījuma tu nejauši pielāgotu uzdevumu, iespējams, pasliktinot lauku, kas jau darbojās.
def evaluate_extraction(expected: dict, obtained: dict,
fields: list[str]) -> dict:
"""Salīdzina iegūto ekstrakciju ar atsauces vērtību."""
correct = 0
total = len(fields)
errors = []
for field in fields:
val_expected = expected.get(field)
val_obtained = obtained.get(field)
if val_expected == val_obtained:
correct += 1
else:
errors.append({
"field": field,
"expected": val_expected,
"obtained": val_obtained
})
return {
"precision": correct / total if total > 0 else 0,
"correct": correct,
"total": total,
"errors": errors
}
Pirms optimizācijas izveido savu atsauces kopu
Izvēlies dokumenta veidu no savas jomas — līgumus, rēķinus, ziņojumus — un definē ekstrakcijas shēmu ar vismaz desmit laukiem, apzināti sajaucot vieglus laukus ar tādiem, par kuriem zini, ka tie ir neskaidri. Izveido piecus paraugdokumentus ar to paredzētajām ekstrakcijām, rakstot tās ar roku: šis solis ir darbietilpīgs, tas prasa stundu, un tieši tas piešķir vērtību visam turpmākajam darbam.
Tad palaid konveijeru, izmēri precizitāti un izlasi kļūdu sarakstu lauku pa laukam. Visvairāk kļūdošais lauks pateiks, kas jālabo uzdevumā; otrais mērījums pateiks, vai labojums patiešām palīdzēja — vai tas pasliktināja citu lauku procesa gaitā, kas notiek biežāk, nekā vari domāt, tiklīdz papildu instrukcija novirza modeļa uzmanību.
Galvenās atziņas
- Strukturēta ekstrakcija aizstāj specializētus NER modeļus vairumā lietojumu
- Izmanto
temperature=0.0, lai maksimāli palielinātu konsekvenci - Padari opcionālos laukus par nullable, nevis opcionāliem
- Lielu apjomu gadījumā izmanto paralēlizāciju ar asyncio
- Sistemātiski novērtē kvalitāti, izmantojot anotētu testa kopu
- Sistēmas uzdevuma instrukcijas virza saturu, shēma ierobežo struktūru