Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Adatok kinyerése weboldalakról

7. lecke 14 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Vízióalapú adatgyűjtés
  2. Olvasás és jelentés
  3. Tartalom kinyerése a képernyőn túl
  4. A hibrid megközelítés: navigálás vízióval, kinyerés DOM-mal
  5. Nem szabványos szerkezetek
  6. A kinyerés nyomon követhetőségének megőrzése
  7. Amit a vízió nem ad meg neked
  8. Főbb megállapítások

Lecke frissítve: 2026. november 3. az OpenAI Computer Use útmutatója alapján: egy feladat akkor ér véget, ha a válasz nem tartalmaz computer_call hívást, nem pedig az Anthropic API korábbi verziójában használt stop_reason alapján. A DOM-kinyerő szkriptben idézőjelek nélküli szelektorok JavaScript-hibát okoztak; ezt javítottuk. A forrás nélküli adatokat (képernyőképenkénti tokenek, oldalonkénti időtartam) az OpenAI által dokumentált költségtényezőkkel váltottuk fel. Források: Computer Use · Képköltség-kalkulátor.

Vízióalapú adatgyűjtés

Egy klasszikus kinyerő a HTML-t olvassa: bejárja a DOM-ot, követi a címkék hierarchiáját, és összeomlik, amint az oldal kliensoldali renderelésre vált, vagy átnevezi az osztályait. A Computer Use másképp működik: az ágens a képernyőt olvassa, pontosan úgy, ahogy egy ember tenné, majd a kért formátumban visszaadja, amit megértett. Ennek gyakorlati hatása jelentős: azok az oldalak is elérhetővé válnak, amelyek korábban zárva voltak a gyűjtők előtt, mivel az ágens pontosan azt látja, amit a felhasználó.

Olvasás és jelentés

A legegyszerűbb eset a látható tartalom elolvasása és strukturált visszaadása. A kritikus pont a kimeneti formátum kikényszerítése a promptban: utasítások nélkül a modell prózában válaszol, ami arra kényszerít, hogy szabad szöveget elemezz, ezzel pedig elvész a művelet egész előnye.

task = """
Go to https://news.example.com and extract the first 5 article 
headlines visible on the homepage.

Return the result in JSON format:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

Az ágens látja a képernyőképet, azonosítja a címsorokat, és JSON-formátumban adja vissza azokat a végső szöveges válaszában – abban, amely akkor érkezik, amikor a válasz már nem tartalmaz computer_call hívást. Ezt a response.output_text változóból olvasod ki.

Tartalom kinyerése a képernyőn túl

Egy 720 képpont magas viewport csak töredékét mutatja egy találati oldalnak. Ezért nemcsak azt kell leírnod, mit gyűjtsön össze, hanem azt is, hogyan navigáljon az oldalon, és mi legyen a leállási feltétel. Ellenkező esetben az ágens addig görget, amíg az iterációid ki nem merülnek, és csonkolt adatokat kapsz vissza.

task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached 
   the bottom of the page

For each result, extract:
- Title
- URL
- Short description

Return everything in JSON.
"""

A táblázatok a legkedvezőbb terepet jelentik, mert a modell azonnal megérti a vizuális táblás szerkezeteket: egyszerű igazítás alapján társít egy cellát az oszlopához, míg egy DOM-kinyerőnek <td> elemeket kell számolnia, és elveszik, amint egy cella egyesül. Írd le a várt oszlopokat, és kitölti a sorokat.

task = """
Open https://stats.example.com/prices and extract the price table 
displayed on the page.

The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
  "headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

A hibrid megközelítés: navigálás vízióval, kinyerés DOM-mal

Érzékeny adatok – összegek, termékhivatkozások – esetén a vizuális olvasás továbbra is hozzávetőleges. A legrobusztusabb kombináció a szerepek szétválasztása az egyes eszközök erősségei szerint: az ágens végzi azt a részt, amelyet nehéz szkriptelni, vagyis a megfelelő oldal elérését keresések, szűrők és hozzájárulási ablakok keresztül; a Playwright pedig átveszi az irányt ott, ahol a pontosság a legfontosabb, és közvetlenül a DOM-ból olvassa az értékeket.

def extract_with_dom(page, task_description: str):
    """Use Computer Use to navigate, Playwright to extract."""
    # Phase 1: Computer Use navigates and identifies the area
    run_agent(task_description, page=page)
    
    # Phase 2: Playwright extracts precise data
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Nem szabványos szerkezetek

Termékkártyák, profilok, listázások: ezek az elrendezések kibújnak a rendszeres sablonok alól, és pontosan itt veszi át a vezetést a vízió. A promptnak ekkor meg kell neveznie minden várt mezőt, meg kell határoznia a típusát, és teljes kimeneti példát kell adnia. Ellenkező esetben előfordulhat, hogy az egyik rekordban „250 000 €“-t, a következőben pedig 250000-et kapsz, amitől a további feldolgozás már az első soron elbukik.

task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url

Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.

Strict JSON output format:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

A kinyerés nyomon követhetőségének megőrzése

Egy metaadatok nélküli kinyerés három hét múlva használhatatlanná válik: már nem tudod, honnan származnak az adatok vagy mikor készültek, így a következő gyűjtéssel való összehasonlítás értelmetlenné válik. Rendszeresen rögzítsd a forrást és az időbélyeget az adatok mellett.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Save extracted data with metadata."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Data saved to {filename}")

Amit a vízió nem ad meg neked

A numerikus pontosság az első korlát. A modell implicit OCR-e összekeverheti a hasonló alakú karaktereket – 0 és O, 1 és l –, ami egy cikkcímsornál lényegtelen, de egy IBAN vagy rendelési hivatkozás esetén elfogadhatatlan: mindig ellenőrizd a kritikus adatokat, vagy használd a DOM-kinyerést ezekhez a mezőkhöz.

A költség a következő. Minden képernyőkép képbemenetnek számít, amelynek ára a mérettől és a modelltől függ – az OpenAI biztosít egy kalkulátort ennek becsléséhez –, és a görgetéssel történő kinyerés sok menetet láncol össze. Mivel a teljes lánctörténetet minden kérésnél újból számlázzák bemenetként, egy hosszú gyűjtés költsége gyorsabban nő, mint a képernyőképek száma. Ezért minden nagy volumenű, naponta gyűjtendő adat esetén érdemes néhány valós oldalon mérni, mielőtt éles környezetbe kerülne. Az idő ugyanígy működik: minden menet vár a modell válaszára, ami éjszakai feldolgozásra alkalmas, de ritkán illik egy olyan felhasználói felülethez, amely várja a választ.

Főbb megállapítások

  • A Computer Use kiválóan alkalmas vizuálisan összetett oldalak adatainak kinyerésére
  • Mindig kérj strukturált kimeneti formátumot (JSON) a promptban
  • Kombináld az AI-alapú navigálást a Playwright DOM-kinyeréssel a nagyobb megbízhatóság érdekében
  • Tervezd meg a görgetést hosszú oldalak esetén
  • Ellenőrizd a kritikus numerikus adatokat, mivel az implicit OCR nem tökéletes