Pridobivanje podatkov iz spletnih strani
Na tej strani
Lekcija posodobljena 3. novembra 2026 na podlagi vodnika Computer Use podjetja OpenAI: naloga se konča, ko odgovor ne vsebuje več
computer_call, in ne na podlagistop_reasoniz API-ja Anthropic, ki je bil uporabljen v prejšnji različici. Skripta za ekstrakcijo DOM je imela neovirane selektorje, kar je povzročalo napako JavaScript; to je zdaj popravljeno. Številke brez virov (žetoni na posnetek zaslona, trajanje na stran) so bile nadomeščene s stroškovnimi dejavniki, ki jih dokumentira OpenAI. Viri: Computer Use · Kalkulator stroškov slik.
Strganje na podlagi vida
Klasični ekstraktor bere HTML: prehaja skozi DOM, sledi hierarhiji oznak in odpove, ko spletno mesto preklopi na upodabljanje na strani odjemalca ali preimenuje svoje razrede. Computer Use deluje drugače – agent bere zaslon popolnoma tako kot človek, nato pa vrne tisto, kar je razumel, v formatu, ki si ga zahteval. Praktični učinek je znaten: strani, ki so bile prej nedostopne strgalom, postanejo dostopne, saj agent vidi točno tisto, kar vidi uporabnik.
Branje in poročanje
Najpreprostejši primer vključuje zahtevo po branju vidne vsebine in strukturiranem vračilu. Ključna točka je uveljavitev izhodnega formata v pozivu: brez navodil model odgovori s proznim besedilom, kar te prisili k razčlenjevanju prostega besedila, kar pa uniči celotno korist operacije.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Agent vidi posnetek zaslona, identificira naslove in vrne JSON v svojem končnem besedilnem odgovoru – tistem, ki prispe, ko odgovor ne vsebuje več computer_call. To prebereš iz response.output_text.
Ekstrakcija vsebine zunaj zaslona
Vidno polje z višino 720 pikslov prikaže le del rezultativne strani. Zato moraš opisati ne le, kaj zbrati, temveč tudi, kako krmariti po strani in kakšen je pogoj za ustavitev. V nasprotnem primeru se bo agent pomikal navzdol, dokler ne zmanjka tvojih iteracij, in vrnil okrnjene podatke.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Tabele so najbolj ugodno teritorij, saj model takoj dojame vizualne tabularne strukture: celico poveže z njenim stolpcom s preprosto poravnavo, medtem ko se mora ekstraktor DOM šteti elemente <td> in se izgubi, takoj ko je celica združena. Opiši pričakovane stolpce in agent bo zapolnil vrstice.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Hibridni pristop: Navigacija z vidom, ekstrakcija prek DOM
Pri občutljivih podatkih – zneskih, referencah izdelkov – ostaja vizualno branje približno. Najbolj robustna kombinacija razdeli vloge glede na prednosti vsakega orodja: agent obravnava del, ki ga je težko skriptirati, namreč doseganje prave strani prek iskanj, filtrov in pogovornih oken za soglasje; Playwright nato prevzame tam, kjer je natančnost najpomembnejša, in bere vrednosti neposredno iz DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Nestandardne strukture
Kartice izdelkov, profili, seznami: te postavitve se izmikajo rednim predlogam in prav tu vid prevzame vodilno vlogo. Poziv mora nato poimenovati vsako pričakovano polje, določiti njegovo vrsto in zagotoviti popoln primer izhoda. V nasprotnem primeru lahko v enem zapisu dobiš „250.000 €”, v naslednjem pa 250000, kar povzroči, da se nadaljnje obdelovanje sesuje že pri prvi vrstici.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Ohranjanje sledljivosti ekstrakcije
Ekstrakcija brez metapodatkov postane po treh tednih neuporabna: ne veš več, od kod prihajajo številke ali kdaj so bile datirane, kar primerjavo z naslednjim zbiranjem dela brezsmiselno. Sistematično beleži vir in časovni žig skupaj s podatki.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Česa vid ne more dati
Numerična natančnost je prva omejitev. Implicitni OCR modela lahko zamenja znake podobne oblike – 0 in O, 1 in l – kar je za naslov članka nepomembno, za IBAN ali referenco naročila pa nesprejemljivo: vedno preveri kritične podatke ali za ta polja uporabi ekstrakcijo DOM.
Naslednji so stroški. Vsak posnetek zaslona šteje kot vhodna slika, katere cena je odvisna od njene velikosti in modela – OpenAI ponuja kalkulator za oceno tega – ekstrakcija s pomikanjem pa poveže mnogo korakov skupaj. Ker se celotna zgodovina verige pri vsaki zahtevi ponovno zaračuna kot vhod, stroški dolgega zbiranja rastejo hitreje kot število posnetkov zaslona. Zato vsaka velika količina, ki jo je treba dnevno zbirati, upravičuje merjenje na nekaj realnih straneh pred prehodom v proizvodnjo. Čas sledi isti logiki: vsak korak čaka na odgovor modela, kar ustreza obdelavi čez noč, redko pa uporabniškemu vmesniku, ki čaka na odgovor.
Ključne ugotovitve
- Computer Use odlično opravlja ekstrakcijo podatkov iz vizualno kompleksnih strani
- V pozivu vedno zahtevaj strukturiran izhodni format (JSON)
- Združi navigacijo z umetno inteligenco in ekstrakcijo DOM prek Playwrighta za večjo zanesljivost
- Načrtuj pomikanje po dolgih straneh
- Preveri kritične numerične podatke, saj implicitni OCR ni popoln