Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Pridobivanje podatkov iz spletnih strani

Lekcija 7 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Strganje na podlagi vida
  2. Branje in poročanje
  3. Ekstrakcija vsebine zunaj zaslona
  4. Hibridni pristop: Navigacija z vidom, ekstrakcija prek DOM
  5. Nestandardne strukture
  6. Ohranjanje sledljivosti ekstrakcije
  7. Česa vid ne more dati
  8. Ključne ugotovitve

Lekcija posodobljena 3. novembra 2026 na podlagi vodnika Computer Use podjetja OpenAI: naloga se konča, ko odgovor ne vsebuje več computer_call, in ne na podlagi stop_reason iz API-ja Anthropic, ki je bil uporabljen v prejšnji različici. Skripta za ekstrakcijo DOM je imela neovirane selektorje, kar je povzročalo napako JavaScript; to je zdaj popravljeno. Številke brez virov (žetoni na posnetek zaslona, trajanje na stran) so bile nadomeščene s stroškovnimi dejavniki, ki jih dokumentira OpenAI. Viri: Computer Use · Kalkulator stroškov slik.

Strganje na podlagi vida

Klasični ekstraktor bere HTML: prehaja skozi DOM, sledi hierarhiji oznak in odpove, ko spletno mesto preklopi na upodabljanje na strani odjemalca ali preimenuje svoje razrede. Computer Use deluje drugače – agent bere zaslon popolnoma tako kot človek, nato pa vrne tisto, kar je razumel, v formatu, ki si ga zahteval. Praktični učinek je znaten: strani, ki so bile prej nedostopne strgalom, postanejo dostopne, saj agent vidi točno tisto, kar vidi uporabnik.

Branje in poročanje

Najpreprostejši primer vključuje zahtevo po branju vidne vsebine in strukturiranem vračilu. Ključna točka je uveljavitev izhodnega formata v pozivu: brez navodil model odgovori s proznim besedilom, kar te prisili k razčlenjevanju prostega besedila, kar pa uniči celotno korist operacije.

task = """
Go to https://news.example.com and extract the first 5 article 
headlines visible on the homepage.

Return the result in JSON format:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

Agent vidi posnetek zaslona, identificira naslove in vrne JSON v svojem končnem besedilnem odgovoru – tistem, ki prispe, ko odgovor ne vsebuje več computer_call. To prebereš iz response.output_text.

Ekstrakcija vsebine zunaj zaslona

Vidno polje z višino 720 pikslov prikaže le del rezultativne strani. Zato moraš opisati ne le, kaj zbrati, temveč tudi, kako krmariti po strani in kakšen je pogoj za ustavitev. V nasprotnem primeru se bo agent pomikal navzdol, dokler ne zmanjka tvojih iteracij, in vrnil okrnjene podatke.

task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached 
   the bottom of the page

For each result, extract:
- Title
- URL
- Short description

Return everything in JSON.
"""

Tabele so najbolj ugodno teritorij, saj model takoj dojame vizualne tabularne strukture: celico poveže z njenim stolpcom s preprosto poravnavo, medtem ko se mora ekstraktor DOM šteti elemente <td> in se izgubi, takoj ko je celica združena. Opiši pričakovane stolpce in agent bo zapolnil vrstice.

task = """
Open https://stats.example.com/prices and extract the price table 
displayed on the page.

The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
  "headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

Hibridni pristop: Navigacija z vidom, ekstrakcija prek DOM

Pri občutljivih podatkih – zneskih, referencah izdelkov – ostaja vizualno branje približno. Najbolj robustna kombinacija razdeli vloge glede na prednosti vsakega orodja: agent obravnava del, ki ga je težko skriptirati, namreč doseganje prave strani prek iskanj, filtrov in pogovornih oken za soglasje; Playwright nato prevzame tam, kjer je natančnost najpomembnejša, in bere vrednosti neposredno iz DOM.

def extract_with_dom(page, task_description: str):
    """Use Computer Use to navigate, Playwright to extract."""
    # Phase 1: Computer Use navigates and identifies the area
    run_agent(task_description, page=page)
    
    # Phase 2: Playwright extracts precise data
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Nestandardne strukture

Kartice izdelkov, profili, seznami: te postavitve se izmikajo rednim predlogam in prav tu vid prevzame vodilno vlogo. Poziv mora nato poimenovati vsako pričakovano polje, določiti njegovo vrsto in zagotoviti popoln primer izhoda. V nasprotnem primeru lahko v enem zapisu dobiš „250.000 €”, v naslednjem pa 250000, kar povzroči, da se nadaljnje obdelovanje sesuje že pri prvi vrstici.

task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url

Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.

Strict JSON output format:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

Ohranjanje sledljivosti ekstrakcije

Ekstrakcija brez metapodatkov postane po treh tednih neuporabna: ne veš več, od kod prihajajo številke ali kdaj so bile datirane, kar primerjavo z naslednjim zbiranjem dela brezsmiselno. Sistematično beleži vir in časovni žig skupaj s podatki.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Save extracted data with metadata."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Data saved to {filename}")

Česa vid ne more dati

Numerična natančnost je prva omejitev. Implicitni OCR modela lahko zamenja znake podobne oblike – 0 in O, 1 in l – kar je za naslov članka nepomembno, za IBAN ali referenco naročila pa nesprejemljivo: vedno preveri kritične podatke ali za ta polja uporabi ekstrakcijo DOM.

Naslednji so stroški. Vsak posnetek zaslona šteje kot vhodna slika, katere cena je odvisna od njene velikosti in modela – OpenAI ponuja kalkulator za oceno tega – ekstrakcija s pomikanjem pa poveže mnogo korakov skupaj. Ker se celotna zgodovina verige pri vsaki zahtevi ponovno zaračuna kot vhod, stroški dolgega zbiranja rastejo hitreje kot število posnetkov zaslona. Zato vsaka velika količina, ki jo je treba dnevno zbirati, upravičuje merjenje na nekaj realnih straneh pred prehodom v proizvodnjo. Čas sledi isti logiki: vsak korak čaka na odgovor modela, kar ustreza obdelavi čez noč, redko pa uporabniškemu vmesniku, ki čaka na odgovor.

Ključne ugotovitve

  • Computer Use odlično opravlja ekstrakcijo podatkov iz vizualno kompleksnih strani
  • V pozivu vedno zahtevaj strukturiran izhodni format (JSON)
  • Združi navigacijo z umetno inteligenco in ekstrakcijo DOM prek Playwrighta za večjo zanesljivost
  • Načrtuj pomikanje po dolgih straneh
  • Preveri kritične numerične podatke, saj implicitni OCR ni popoln