Adatok kinyerése weboldalakról
Ezen az oldalon
Lecke frissítve: 2026. november 3. az OpenAI Computer Use útmutatója alapján: egy feladat akkor ér véget, ha a válasz nem tartalmaz
computer_callhívást, nem pedig az Anthropic API korábbi verziójában használtstop_reasonalapján. A DOM-kinyerő szkriptben idézőjelek nélküli szelektorok JavaScript-hibát okoztak; ezt javítottuk. A forrás nélküli adatokat (képernyőképenkénti tokenek, oldalonkénti időtartam) az OpenAI által dokumentált költségtényezőkkel váltottuk fel. Források: Computer Use · Képköltség-kalkulátor.
Vízióalapú adatgyűjtés
Egy klasszikus kinyerő a HTML-t olvassa: bejárja a DOM-ot, követi a címkék hierarchiáját, és összeomlik, amint az oldal kliensoldali renderelésre vált, vagy átnevezi az osztályait. A Computer Use másképp működik: az ágens a képernyőt olvassa, pontosan úgy, ahogy egy ember tenné, majd a kért formátumban visszaadja, amit megértett. Ennek gyakorlati hatása jelentős: azok az oldalak is elérhetővé válnak, amelyek korábban zárva voltak a gyűjtők előtt, mivel az ágens pontosan azt látja, amit a felhasználó.
Olvasás és jelentés
A legegyszerűbb eset a látható tartalom elolvasása és strukturált visszaadása. A kritikus pont a kimeneti formátum kikényszerítése a promptban: utasítások nélkül a modell prózában válaszol, ami arra kényszerít, hogy szabad szöveget elemezz, ezzel pedig elvész a művelet egész előnye.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Az ágens látja a képernyőképet, azonosítja a címsorokat, és JSON-formátumban adja vissza azokat a végső szöveges válaszában – abban, amely akkor érkezik, amikor a válasz már nem tartalmaz computer_call hívást. Ezt a response.output_text változóból olvasod ki.
Tartalom kinyerése a képernyőn túl
Egy 720 képpont magas viewport csak töredékét mutatja egy találati oldalnak. Ezért nemcsak azt kell leírnod, mit gyűjtsön össze, hanem azt is, hogyan navigáljon az oldalon, és mi legyen a leállási feltétel. Ellenkező esetben az ágens addig görget, amíg az iterációid ki nem merülnek, és csonkolt adatokat kapsz vissza.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
A táblázatok a legkedvezőbb terepet jelentik, mert a modell azonnal megérti a vizuális táblás szerkezeteket: egyszerű igazítás alapján társít egy cellát az oszlopához, míg egy DOM-kinyerőnek <td> elemeket kell számolnia, és elveszik, amint egy cella egyesül. Írd le a várt oszlopokat, és kitölti a sorokat.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
A hibrid megközelítés: navigálás vízióval, kinyerés DOM-mal
Érzékeny adatok – összegek, termékhivatkozások – esetén a vizuális olvasás továbbra is hozzávetőleges. A legrobusztusabb kombináció a szerepek szétválasztása az egyes eszközök erősségei szerint: az ágens végzi azt a részt, amelyet nehéz szkriptelni, vagyis a megfelelő oldal elérését keresések, szűrők és hozzájárulási ablakok keresztül; a Playwright pedig átveszi az irányt ott, ahol a pontosság a legfontosabb, és közvetlenül a DOM-ból olvassa az értékeket.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Nem szabványos szerkezetek
Termékkártyák, profilok, listázások: ezek az elrendezések kibújnak a rendszeres sablonok alól, és pontosan itt veszi át a vezetést a vízió. A promptnak ekkor meg kell neveznie minden várt mezőt, meg kell határoznia a típusát, és teljes kimeneti példát kell adnia. Ellenkező esetben előfordulhat, hogy az egyik rekordban „250 000 €“-t, a következőben pedig 250000-et kapsz, amitől a további feldolgozás már az első soron elbukik.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
A kinyerés nyomon követhetőségének megőrzése
Egy metaadatok nélküli kinyerés három hét múlva használhatatlanná válik: már nem tudod, honnan származnak az adatok vagy mikor készültek, így a következő gyűjtéssel való összehasonlítás értelmetlenné válik. Rendszeresen rögzítsd a forrást és az időbélyeget az adatok mellett.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Amit a vízió nem ad meg neked
A numerikus pontosság az első korlát. A modell implicit OCR-e összekeverheti a hasonló alakú karaktereket – 0 és O, 1 és l –, ami egy cikkcímsornál lényegtelen, de egy IBAN vagy rendelési hivatkozás esetén elfogadhatatlan: mindig ellenőrizd a kritikus adatokat, vagy használd a DOM-kinyerést ezekhez a mezőkhöz.
A költség a következő. Minden képernyőkép képbemenetnek számít, amelynek ára a mérettől és a modelltől függ – az OpenAI biztosít egy kalkulátort ennek becsléséhez –, és a görgetéssel történő kinyerés sok menetet láncol össze. Mivel a teljes lánctörténetet minden kérésnél újból számlázzák bemenetként, egy hosszú gyűjtés költsége gyorsabban nő, mint a képernyőképek száma. Ezért minden nagy volumenű, naponta gyűjtendő adat esetén érdemes néhány valós oldalon mérni, mielőtt éles környezetbe kerülne. Az idő ugyanígy működik: minden menet vár a modell válaszára, ami éjszakai feldolgozásra alkalmas, de ritkán illik egy olyan felhasználói felülethez, amely várja a választ.
Főbb megállapítások
- A Computer Use kiválóan alkalmas vizuálisan összetett oldalak adatainak kinyerésére
- Mindig kérj strukturált kimeneti formátumot (JSON) a promptban
- Kombináld az AI-alapú navigálást a Playwright DOM-kinyeréssel a nagyobb megbízhatóság érdekében
- Tervezd meg a görgetést hosszú oldalak esetén
- Ellenőrizd a kritikus numerikus adatokat, mivel az implicit OCR nem tökéletes