Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Datu izgūšana no tīmekļa lapām

Nodarbība 7 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Uz redzi balstīta datu izgūšana
  2. Lasīšana un ziņošana
  3. Satura izgūšana ārpus ekrāna robežām
  4. Hibrīdpieeja: navigācija pēc redzes, izgūšana caur DOM
  5. Nestandarta struktūras
  6. Saglabā izgūšanas izsekojamību
  7. Ko redze tev nedos
  8. Galvenās atziņas

Nodarbība atjaunināta 2026. gada 3. novembrī, pamatojoties uz OpenAI Computer Use rokasgrāmatu: uzdevums beidzas, kad atbildē vairs nav computer_call, nevis balstoties uz stop_reason no Anthropic API, ko izmantoja iepriekšējā versijā. DOM izgūšanas skriptā bija necitēti selektori, kas izraisīja JavaScript kļūdu; tas tagad ir labots. Nepamatoti skaitļi (tokeni uz ekrānuzņēmumu, ilgums uz lapu) ir aizstāti ar OpenAI dokumentētajiem izmaksu faktoriem. Avoti: Computer Use · Attēlu izmaksu kalkulators.

Uz redzi balstīta datu izgūšana

Klasisks izguvējs lasa HTML: tas šķērso DOM, seko tagu hierarhijai un sabrūk tajā dienā, kad vietne pāriet uz klienta puses renderēšanu vai pārdēvē savas klases. Computer Use strādā citādāk — aģents lasa ekrānu tieši tā, kā to darītu cilvēks, un pēc tam atgriež saprasto informāciju tavā pieprasītajā formātā. Praktiskā ietekme ir nozīmīga: vietnes, kas iepriekš bija nepieejamas skrāperiem, kļūst pieejamas, jo tas, ko redz aģents, ir tieši tas pats, ko redz lietotājs.

Lasīšana un ziņošana

Vienkāršākais gadījums ir pieprasīt redzamā satura nolasīšanu un strukturētu atgriešanu. Kritiskais punkts ir izvadformāta piespiešana uzvednē (prompt): bez instrukcijām modelis atbildēs ar brīvu tekstu, liekot tev parsēt nejaušu saturu, kas iznīcina visu operācijas jēgu.

task = """
Go to https://news.example.com and extract the first 5 article 
headlines visible on the homepage.

Return the result in JSON format:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

Aģents redz ekrānuzņēmumu, identificē virsrakstus un atgriež JSON savā gala teksta atbildē — tajā, kas pienāk, kad atbildē vairs nav computer_call. Tu to nolasī no response.output_text.

Satura izgūšana ārpus ekrāna robežām

720 pikseļu augsts skata logs parāda tikai nelielu daļu no rezultātu lapas. Tāpēc tev ir jāapraksta ne tikai tas, kas jāsavāc, bet arī kā pārvietoties pa lapu un kāds ir apturēšanas nosacījums. Pretējā gadījumā aģents ritinās, līdz beigsies tavas iterācijas, atgriežot saīsinātus datus.

task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached 
   the bottom of the page

For each result, extract:
- Title
- URL
- Short description

Return everything in JSON.
"""

Tabulas ir vislabvēlīgākā vide, jo modelis uzreiz uztver vizuālās tabulas struktūras: tas saista šūnu ar tās kolonnu, vienkārši izmantojot izlīdzinājumu, turpretī DOM izguvējam ir jāsaskaita <td> elementi un tas apmaldās, tiklīdz kāda šūna ir apvienota. Apraksti sagaidāmās kolonnas, un tas aizpildīs rindas.

task = """
Open https://stats.example.com/prices and extract the price table 
displayed on the page.

The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
  "headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

Hibrīdpieeja: navigācija pēc redzes, izgūšana caur DOM

Jutīgiem datiem — summām, produktu atsauces numuriem — vizuālā lasīšana paliek aptuvena. Visnoturīgākā kombinācija sadala lomas atbilstoši katra rīka stiprajām pusēm: aģents veic daļu, kuru ir grūti automatizēt ar skriptu, proti, nokļūst pareizajā lapā, izmantojot meklēšanu, filtrus un piekrišanas dialogus; Playwright tad pārņem vadību tur, kur precizitāte ir vissvarīgākā, lasot vērtības tieši no DOM.

def extract_with_dom(page, task_description: str):
    """Use Computer Use to navigate, Playwright to extract."""
    # Phase 1: Computer Use navigates and identifies the area
    run_agent(task_description, page=page)
    
    # Phase 2: Playwright extracts precise data
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Nestandarta struktūras

Produktu kartītes, profili, saraksti: šie izkārtojumi izvairās no regulārām veidnēm, un tieši šeit redze uzņemas vadību. Uzvednē tad ir jānosauc katrs sagaidāmais lauks, jānorāda tā tips un jāsniedz pilns izvades piemērs. Pretējā gadījumā tu vari iegūt „250 000 €” vienā ierakstā un 250000 nākamajā, liekot turpmākajai apstrādei sabrukt jau pie pirmās rindas.

task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url

Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.

Strict JSON output format:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

Saglabā izgūšanas izsekojamību

Izgūšana bez metadatiem kļūst nelietojama pēc trim nedēļām: tu vairs nezini, no kurienes nākuši skaitļi vai kad tie fiksēti, padarot salīdzinājumu ar nākamo vākšanu bezjēdzīgu. Sistemātiski reģistrē avotu un laika zīmogu kopā ar datiem.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Save extracted data with metadata."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Data saved to {filename}")

Ko redze tev nedos

Skaitliskā precizitāte ir pirmais ierobežojums. Modeļa netiešā OCR var sajaukt līdzīgas formas rakstzīmes — 0 un O, 1 un l —, kas ir nebūtiski raksta virsrakstam, bet nepieņemami IBAN vai pasūtījuma atsauces numuram: vienmēr pārbaudi kritiskos datus vai izmanto DOM izgūšanu šiem laukiem.

Tālāk seko izmaksas. Katrs ekrānuzņēmums tiek skaitīts kā attēla ievade, kuras cena ir atkarīga no tā izmēra un modeļa — OpenAI nodrošina kalkulatoru, lai to novērtētu — un izgūšana ar ritināšanu sasaista daudzus soļus kopā. Tā kā visa soļu vēsture tiek atkārtoti apmaksāta kā ievade katrā pieprasījumā, garas vākšanas izmaksas pieaug ātrāk nekā ekrānuzņēmumu skaits. Tāpēc jebkuram lielam apjomam, kas jāvāc ikdienā, ir nepieciešams veikt mērījumus dažās reālās lapās pirms pārejas uz ražošanas vidi. Laiks seko tai pašai loģikai: katrs solis gaida modeļa atbildi, kas ir piemērots nakts apstrādei, bet reti lietotāja saskarnei, kas gaida atbildi.

Galvenās atziņas

  • Computer Use izcili tiek galā ar datu izgūšanu no vizuāli sarežģītām lapām
  • Vienmēr pieprasī strukturētu izvades formātu (JSON) uzvednē
  • Apvieno AI navigāciju ar Playwright DOM izgūšanu lielākai uzticamībai
  • Plāno ritināšanu garām lapām
  • Pārbaudi kritiskos skaitliskos datus, jo netiešā OCR nav ideāla