Datu izgūšana no tīmekļa lapām
Šajā lapā
Nodarbība atjaunināta 2026. gada 3. novembrī, pamatojoties uz OpenAI Computer Use rokasgrāmatu: uzdevums beidzas, kad atbildē vairs nav
computer_call, nevis balstoties uzstop_reasonno Anthropic API, ko izmantoja iepriekšējā versijā. DOM izgūšanas skriptā bija necitēti selektori, kas izraisīja JavaScript kļūdu; tas tagad ir labots. Nepamatoti skaitļi (tokeni uz ekrānuzņēmumu, ilgums uz lapu) ir aizstāti ar OpenAI dokumentētajiem izmaksu faktoriem. Avoti: Computer Use · Attēlu izmaksu kalkulators.
Uz redzi balstīta datu izgūšana
Klasisks izguvējs lasa HTML: tas šķērso DOM, seko tagu hierarhijai un sabrūk tajā dienā, kad vietne pāriet uz klienta puses renderēšanu vai pārdēvē savas klases. Computer Use strādā citādāk — aģents lasa ekrānu tieši tā, kā to darītu cilvēks, un pēc tam atgriež saprasto informāciju tavā pieprasītajā formātā. Praktiskā ietekme ir nozīmīga: vietnes, kas iepriekš bija nepieejamas skrāperiem, kļūst pieejamas, jo tas, ko redz aģents, ir tieši tas pats, ko redz lietotājs.
Lasīšana un ziņošana
Vienkāršākais gadījums ir pieprasīt redzamā satura nolasīšanu un strukturētu atgriešanu. Kritiskais punkts ir izvadformāta piespiešana uzvednē (prompt): bez instrukcijām modelis atbildēs ar brīvu tekstu, liekot tev parsēt nejaušu saturu, kas iznīcina visu operācijas jēgu.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Aģents redz ekrānuzņēmumu, identificē virsrakstus un atgriež JSON savā gala teksta atbildē — tajā, kas pienāk, kad atbildē vairs nav computer_call. Tu to nolasī no response.output_text.
Satura izgūšana ārpus ekrāna robežām
720 pikseļu augsts skata logs parāda tikai nelielu daļu no rezultātu lapas. Tāpēc tev ir jāapraksta ne tikai tas, kas jāsavāc, bet arī kā pārvietoties pa lapu un kāds ir apturēšanas nosacījums. Pretējā gadījumā aģents ritinās, līdz beigsies tavas iterācijas, atgriežot saīsinātus datus.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Tabulas ir vislabvēlīgākā vide, jo modelis uzreiz uztver vizuālās tabulas struktūras: tas saista šūnu ar tās kolonnu, vienkārši izmantojot izlīdzinājumu, turpretī DOM izguvējam ir jāsaskaita <td> elementi un tas apmaldās, tiklīdz kāda šūna ir apvienota. Apraksti sagaidāmās kolonnas, un tas aizpildīs rindas.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Hibrīdpieeja: navigācija pēc redzes, izgūšana caur DOM
Jutīgiem datiem — summām, produktu atsauces numuriem — vizuālā lasīšana paliek aptuvena. Visnoturīgākā kombinācija sadala lomas atbilstoši katra rīka stiprajām pusēm: aģents veic daļu, kuru ir grūti automatizēt ar skriptu, proti, nokļūst pareizajā lapā, izmantojot meklēšanu, filtrus un piekrišanas dialogus; Playwright tad pārņem vadību tur, kur precizitāte ir vissvarīgākā, lasot vērtības tieši no DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Nestandarta struktūras
Produktu kartītes, profili, saraksti: šie izkārtojumi izvairās no regulārām veidnēm, un tieši šeit redze uzņemas vadību. Uzvednē tad ir jānosauc katrs sagaidāmais lauks, jānorāda tā tips un jāsniedz pilns izvades piemērs. Pretējā gadījumā tu vari iegūt „250 000 €” vienā ierakstā un 250000 nākamajā, liekot turpmākajai apstrādei sabrukt jau pie pirmās rindas.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Saglabā izgūšanas izsekojamību
Izgūšana bez metadatiem kļūst nelietojama pēc trim nedēļām: tu vairs nezini, no kurienes nākuši skaitļi vai kad tie fiksēti, padarot salīdzinājumu ar nākamo vākšanu bezjēdzīgu. Sistemātiski reģistrē avotu un laika zīmogu kopā ar datiem.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Ko redze tev nedos
Skaitliskā precizitāte ir pirmais ierobežojums. Modeļa netiešā OCR var sajaukt līdzīgas formas rakstzīmes — 0 un O, 1 un l —, kas ir nebūtiski raksta virsrakstam, bet nepieņemami IBAN vai pasūtījuma atsauces numuram: vienmēr pārbaudi kritiskos datus vai izmanto DOM izgūšanu šiem laukiem.
Tālāk seko izmaksas. Katrs ekrānuzņēmums tiek skaitīts kā attēla ievade, kuras cena ir atkarīga no tā izmēra un modeļa — OpenAI nodrošina kalkulatoru, lai to novērtētu — un izgūšana ar ritināšanu sasaista daudzus soļus kopā. Tā kā visa soļu vēsture tiek atkārtoti apmaksāta kā ievade katrā pieprasījumā, garas vākšanas izmaksas pieaug ātrāk nekā ekrānuzņēmumu skaits. Tāpēc jebkuram lielam apjomam, kas jāvāc ikdienā, ir nepieciešams veikt mērījumus dažās reālās lapās pirms pārejas uz ražošanas vidi. Laiks seko tai pašai loģikai: katrs solis gaida modeļa atbildi, kas ir piemērots nakts apstrādei, bet reti lietotāja saskarnei, kas gaida atbildi.
Galvenās atziņas
- Computer Use izcili tiek galā ar datu izgūšanu no vizuāli sarežģītām lapām
- Vienmēr pieprasī strukturētu izvades formātu (JSON) uzvednē
- Apvieno AI navigāciju ar Playwright DOM izgūšanu lielākai uzticamībai
- Plāno ritināšanu garām lapām
- Pārbaudi kritiskos skaitliskos datus, jo netiešā OCR nav ideāla