Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Andmete ekstraheerimine veebilehtedelt

Õppetund 7 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Visuaalne kraapimine
  2. Loe ja raporteeri
  3. Ekstraheeri sisu väljaspool ekraani
  4. Hübriidlähenemine: navigeeri visuaalselt, ekstraheeri DOM-i kaudu
  5. Mittestandardsed struktuurid
  6. Säilita ekstraheerimise jälgitavus
  7. Mida visioon sulle ei anna
  8. Peamised punktid

Tund uuendatud 3. novembril 2026 OpenAI Computer Use juhendi põhjal: ülesanne lõpeb siis, kui vastus ei sisalda enam computer_call, mitte Anthropicu API eelmises versioonis kasutatud stop_reason põhjal. DOM-i ekstraheerimise skriptis olid jutumärkideta selektorid, mis põhjustasid JavaScripti vea; see on nüüd parandatud. Allikata arvud (tokenid ekraanipildi kohta, kestus lehe kohta) on asendatud OpenAI dokumenteeritud kuluteguritega. Allikad: Computer Use · Pildi kulukalkulaator.

Visuaalne kraapimine

Klassikaline ekstraheerija loeb HTML-i: see läbib DOM-i, järgib siltide hierarhiat ja nurjub päeval, mil sait lülitub kliendipoolsele renderdamisele või muudab oma klasside nimesid. Computer Use toimib teisiti – agent loeb ekraani täpselt nagu inimene, ja tagastab siis mõistetud teabe sinu soovitud vormingus. Praktiline mõju on märkimisväärne: saidid, mis olid varem kraapimiseks kättesaamatud, muutuvad kasutatavaks, sest agent näeb täpselt seda, mida kasutaja näeb.

Loe ja raporteeri

Lihtsaim juhtum hõlmab nähtava sisu lugemise ja struktureeritud tagastamise küsimist. Kriitiline punkt on väljundvormingu jõustamine vihjes: ilma juhisteta vastab mudel proosana, sundides sind vaba teksti parsima, mis rikub kogu operatsiooni kasu.

task = """
Mine aadressile https://news.example.com ja ekstraheeri esimesed 5 artikli 
pealkirja, mis on avalehel nähtavad.

Tagasta tulemus JSON-vormingus:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

Agent näeb ekraanipilti, tuvastab pealkirjad ja tagastab JSON-i oma lõplikus tekstivastuses – selles, mis saabub, kui vastus ei sisalda enam computer_call. Sa loed seda response.output_text-ist.

Ekstraheeri sisu väljaspool ekraani

720 piksli kõrgune vaateaken näitab ainult murdosa tulemuste lehest. Seetõttu pead kirjeldama mitte ainult seda, mida koguda, vaid ka seda, kuidas lehel navigeerida ja millal peatuda. Vastasel juhul kerib agent seni, kuni sinu iteratsioonid otsa saavad, tagastades lühendatud andmed.

task = """
Sellel otsingutulemuste lehel:
1. Loe kõik nähtavad tulemused ja märgi need üles
2. Keri alla, et näha rohkem tulemusi
3. Jätka, kuni oled kogunud 20 tulemust või jõudnud 
   lehe lõppu

Iga tulemuse kohta ekstraheeri:
- Pealkiri
- URL
- Lühike kirjeldus

Tagasta kõik JSON-vormingus.
"""

Tabelid on kõige soodsam pinnas, sest mudel mõistab visuaalseid tabelistruktuure koheselt: ta seostab lahtri selle veeruga lihtsa joonduse põhjal, samas kui DOM-i ekstraheerija peab lugema <td> elemente ja eksib niipea, kui lahter on ühendatud. Kirjelda oodatavaid veerge ja see täidab read.

task = """
Ava https://stats.example.com/prices ja ekstraheeri lehel 
kuvatav hinnatabel.

Tabelil on veerud: Toode, Hind ilma KM-ta, KM, Hind KM-ga.
Ekstraheeri kõik read ja tagasta JSON-vormingus:
{
  "headers": ["Toode", "Hind ilma KM-ta", "KM", "Hind KM-ga"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

Hübriidlähenemine: navigeeri visuaalselt, ekstraheeri DOM-i kaudu

Tundlike andmete – summade, tooteviidete – puhul jääb visuaalne lugemine ligikaudseks. Kõige robustsem kombinatsioon jagab rollid vastavalt iga tööriista tugevustele: agent haldab seda osa, mida on raske skriptida, nimelt õigele lehele jõudmist otsingute, filtrite ja nõusolekuakende kaudu; Playwright võtab siis üle seal, kus täpsus on kõige olulisem, lugedes väärtusi otse DOM-ist.

def extract_with_dom(page, task_description: str):
    """Kasuta Computer Use'i navigeerimiseks ja Playwrighti ekstraheerimiseks."""
    # 1. faas: Computer Use navigeerib ja tuvastab ala
    run_agent(task_description, page=page)
    
    # 2. faas: Playwright ekstraheerib täpsed andmed
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Mittestandardsed struktuurid

Tootekaardid, profiilid, loendid: need paigutused pääsevad regulaarsetest mallidest ja just siin võtab visioon juhtrolli. Vihjes tuleb siis nimetada iga oodatav väli, määrata selle tüüp ja esitada täielik väljundi näide. Vastasel juhul võid ühest kirjest saada „250 000 €“ ja järgmisest 250000, põhjustades järgneva töötlemise katkemise juba esimesel real.

task = """
Sellel kinnisvara tulemuste lehel ekstraheeri iga kuulutuse kohta:
- hind (arv, eurodes)
- pindala (m²)
- tubade arv (täisarv)
- linn
- sihtnumber
- kuulutuse_url

Keri vajadusel rohkem kuulutuste laadimiseks.
Peatu, kui sul on 10 kuulutust või kui rohkem pole.

Range JSON-väljundi vorming:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

Säilita ekstraheerimise jälgitavus

Ekstraheerimine ilma metaandmeteta muutub kolme nädala pärast kasutuks: sa ei tea enam, kust arvud pärit on või millal need dateeritud olid, muutes võrdluse järgmise kogumiga mõttetuks. Salvesta süstemaatiliselt allikas ja ajatempel koos andmetega.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Salvesta ekstraheeritud andmed koos metaandmetega."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Andmed salvestatud faili {filename}")

Mida visioon sulle ei anna

Numbriline täpsus on esimene piirang. Mudeli vaikne OCR võib ajada segamini sarnase kujuga tähemärgid – 0 ja O, 1 ja l – mis on artikli pealkirja puhul ebaoluline, kuid IBAN-i või tellimuse viite puhul vastuvõetamatu: kontrolli alati kriitilisi andmeid või kasuta nende väljade puhul DOM-i ekstraheerimist.

Järgmisena tuleb kulu. Iga ekraanipilt loetakse pildisisendiks, mille hind sõltub selle suurusest ja mudelist – OpenAI pakub selle hindamiseks kalkulaatorit – ja kerimisega ekstraheerimine aheldab palju pöördeid kokku. Kogu ahela ajalugu arvutatakse iga päringu puhul uuesti sisendina, seega kasvab pika kogumise kulu kiiremini kui selle ekraanipiltide arv. Seetõttu väärib iga suur kogus, mida tuleb iga päev koguda, mõõtmist mõnel reaalsel lehel enne tootmisse viimist. Aeg järgib sama loogikat: iga pööre ootab mudeli vastust, mis sobib öiseks töötlemiseks, kuid harva kasutajaliidesega, mis ootab vastust.

Peamised punktid

  • Computer Use on suurepärane visuaalselt keerukate lehtede andmete ekstraheerimisel
  • Nõua vihjes alati struktureeritud väljundvormingut (JSON)
  • Kombineeri AI navigeerimist Playwrighti DOM-i ekstraheerimisega suurema usaldusväärsuse saavutamiseks
  • Planeeri kerimist pikkadel lehtedel
  • Kontrolli kriitilisi numbrilisi andmeid, kuna vaikne OCR pole täiuslik