Extrahovanie údajov z webových stránok
Na tejto strane
Lekcia aktualizovaná 3. novembra 2026 na základe príručky Computer Use od OpenAI: úloha sa končí, keď odpoveď neobsahuje
computer_call, nie na základestop_reasonz API Anthropic použitého v predchádzajúcej verzii. Skript na extrakciu DOM mal neuzatvorené selektory v úvodzovkách, čo spôsobovalo chybu JavaScriptu; toto je teraz opravené. Údaje bez zdroja (tokeny na snímku obrazovky, trvanie na stránku) boli nahradené nákladovými faktormi zdokumentovanými spoločnosťou OpenAI. Zdroje: Computer Use · Kalkulačka nákladov na obrázky.
Scraping založený na videní
Klasický extraktor číta HTML: prechádza DOM, sleduje hierarchiu tagov a stroskotá v deň, keď stránka prejde na vykresľovanie na strane klienta (client-side rendering) alebo premenuje svoje triedy. Computer Use funguje inak – agent číta obrazovku presne tak, ako by to urobil človek, a následne vráti to, čo pochopil, vo formáte, ktorý si vyžiadal. Praktický dopad je významný: stránky, ktoré boli predtým pre scrapery nedostupné, sa stávajú dostupnými, pretože to, čo agent vidí, je presne to, čo vidí používateľ.
Čítanie a hlásenie
Najjednoduchší prípad zahŕňa požiadavku na prečítanie viditeľného obsahu a štruktúrovaný návrat. Kritickým bodom je vynútenie formátu výstupu v prompte: bez inštrukcií model odpovedá prózou, čo ťa núti parsovať voľný text, čím sa stratí celý zmysel tejto operácie.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Agent vidí snímku obrazovky, identifikuje nadpisy a vráti JSON vo svojej finálnej textovej odpovedi – tej, ktorá príde, keď odpoveď už neobsahuje computer_call. Túto odpoveď čítaš z response.output_text.
Extrakcia obsahu mimo obrazovky
Viewport s výškou 720 pixelov zobrazuje len zlomok stránky s výsledkami. Preto musíš popísať nielen to, čo sa má zozbierať, ale aj ako sa má stránka navigovať a aká je podmienka zastavenia. Inak sa bude agent rolovať, kým sa nevyčerpajú tvoje iterácie, a vráti orezané údaje.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Tabuľky sú najpriaznivejším terénom, pretože model okamžite pochopí vizuálne tabuľkové štruktúry: priradí bunku k jej stĺpcu jednoduchým zarovnaním, zatiaľ čo extraktor DOM musí počítať prvky <td> a stratí sa hneď, ako sa bunka zlúči. Popíš očakávané stĺpce a on vyplní riadky.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Hybridný prístup: Navigácia podľa videnia, extrakcia cez DOM
Pri citlivých údajoch – sumách, referenčných číslach produktov – zostáva vizuálne čítanie približné. Najrobustnejšia kombinácia rozdeľuje úlohy podľa silných stránok každého nástroja: agent sa postará o časť, ktorú je ťažké naprogramovať, teda dosiahnutie správnej stránky prostredníctvom vyhľadávania, filtrov a dialógov so súhlasom; Playwright potom preberá kontrolu tam, kde záleží na presnosti najviac, a číta hodnoty priamo z DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Neštandardné štruktúry
Karty produktov, profily, zoznamy: tieto rozloženia unikajú pravidelným šablónam a práve tu preberá vedenie videnie. Prompt musí potom pomenovať každé očakávané pole, špecifikovať jeho typ a poskytnúť kompletný príklad výstupu. Inak môžeš získať „250 000 €“ v jednom zázname a 250000 v ďalšom, čo spôsobí zlyhanie následného spracovania už na prvom riadku.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Zachovanie sledovateľnosti extrakcie
Extrakcia bez metadát sa o tri týždne stane nepoužiteľnou: už nebudeš vedieť, odkiaľ údaje pochádzajú ani kedy boli datované, čo robí porovnanie s ďalším zberom nezmyselným. Systematicky zaznamenávaj zdroj a časovú pečiatku spolu s údajmi.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Čo ti videnie neposkytne
Numerická presnosť je prvým obmedzením. Implicitné OCR modelu si môže pomýliť znaky podobného tvaru – 0 a O, 1 a l – čo je pri nadpise článku zanedbateľné, ale neprijateľné pri IBAN alebo referenčnom čísle objednávky: vždy overuj kritické údaje alebo použij na tieto polia extrakciu DOM.
Ďalším faktorom sú náklady. Každá snímka obrazovky sa počíta ako vstupný obrázok, ktorého cena závisí od jeho veľkosti a modelu – OpenAI poskytuje kalkulačku na odhad – a extrakcia s rolovaním spája mnoho krokov dohromady. Keďže sa celá história reťazca preúčtuje ako vstup pri každej požiadavke, náklady na dlhý zber rastú rýchlejšie ako počet snímok obrazovky. Preto si akýkoľvek veľký objem, ktorý sa má zbierať denne, zaslúži overenie na niekoľkých reálnych stránkach pred nasadením do produkcie. Čas nasleduje rovnakú logiku: každý krok čaká na odpoveď modelu, čo vyhovuje nočnému spracovaniu, ale zriedka používateľskému rozhraniu čakajúcemu na odpoveď.
Kľúčové poznatky
- Computer Use vyniká pri extrakcii údajov z vizuálne zložitých stránok
- V prompte vždy požaduj štruktúrovaný výstupný formát (JSON)
- Skombinuj navigáciu AI s extrakciou DOM cez Playwright pre vyššiu spoľahlivosť
- Naplánuj rolovanie pri dlhých stránkach
- Overuj kritické numerické údaje, pretože implicitné OCR nie je dokonalé