Gegevens extraheren van webpagina's
Op deze pagina
Les bijgewerkt op 3 november 2026 op basis van de handleiding Computer Use van OpenAI: een taak eindigt wanneer het antwoord geen
computer_callmeer bevat, en niet op basis van destop_reasonuit de API van Anthropic die in de vorige versie werd gebruikt. Het DOM-extractiescript bevatte niet-aangehaalde selectors, wat een JavaScript-fout veroorzaakte; dit is nu opgelost. Cijfers zonder bronvermelding (tokens per screenshot, duur per pagina) zijn vervangen door kostenfactoren die door OpenAI zijn gedocumenteerd. Bronnen: Computer Use · Image Cost Calculator.
Op visie gebaseerde scraping
Een klassieke extractor leest HTML: deze doorloopt de DOM, volgt een hiërarchie van tags en faalt zodra de site overschakelt op client-side rendering of de namen van zijn classes wijzigt. Computer Use werkt anders: de agent leest het scherm zoals een mens dat zou doen, en geeft vervolgens terug wat hij heeft begrepen in het door u gevraagde formaat. De praktische impact is aanzienlijk: sites die voorheen ontoegankelijk waren voor scrapers, worden nu beschikbaar, omdat wat de agent ziet exact overeenkomt met wat de gebruiker ziet.
Lezen en rapporteren
De eenvoudigste casus betreft het vragen om een lezing van zichtbare inhoud en een gestructureerde terugkoppeling. Het cruciale punt is het afdwingen van het uitvoerformaat in de prompt: zonder instructies antwoordt het model in proza, waardoor u vrije tekst moet parseren, wat het hele voordeel van de operatie tenietdoet.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
De agent ziet de screenshot, identificeert de koppen en retourneert de JSON in zijn laatste tekstuele antwoord: degene die arriveert wanneer het antwoord geen computer_call meer bevat. U leest dit uit response.output_text.
Inhoud buiten het scherm extraheren
Een viewport van 720 pixels hoog toont slechts een fractie van een resultatenpagina. U moet daarom niet alleen beschrijven wat er verzameld moet worden, maar ook hoe er door de pagina genavigeerd moet worden en wat de stopvoorwaarde is. Anders scrolt de agent door totdat uw iteraties op zijn, wat resulteert in afgekapte gegevens.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Tabellen zijn het meest gunstige terrein omdat het model visuele tabelstructuren onmiddellijk begrijpt: het koppelt een cel aan zijn kolom door simpele uitlijning, terwijl een DOM-extractor <td>-elementen moet tellen en de draad kwijtraakt zodra een cel samengevoegd is. Beschrijf de verwachte kolommen en het zal de rijen invullen.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
De hybride aanpak: navigeren op basis van visie, extraheren via DOM
Voor gevoelige gegevens—bedragen, productreferenties—blijft visueel lezen bij benadering. De meest robuuste combinatie verdeelt rollen volgens de sterktes van elk hulpmiddel: de agent handelt het deel af dat moeilijk te scripten is, namelijk het bereiken van de juiste pagina via zoekopdrachten, filters en toestemmingsdialogs; Playwright neemt vervolgens het stokje over waar precisie het belangrijkst is, door waarden direct uit de DOM te lezen.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Niet-standaard structuren
Productkaarten, profielen, lijsten: deze lay-outs ontlopen reguliere sjablonen, en dit is precies waar visie het voortouw neemt. De prompt moet dan elk verwacht veld benoemen, het type specificeren en een compleet uitvoervoorbeeld bieden. Anders kunt u ”€ 250.000” in het ene record ophalen en 250000 in het volgende, waardoor de downstream-verwerking al bij de eerste regel vastloopt.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Traceerbaarheid van extractie behouden
Een extractie zonder metadata wordt na drie weken onbruikbaar: u weet niet meer waar de cijfers vandaan komen of wanneer ze gedateerd zijn, waardoor vergelijking met de volgende verzameling zinloos wordt. Leg systematisch de bron en het tijdstip vast naast de gegevens.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Wat visie u niet geeft
Numerieke precisie is de eerste beperking. De impliciete OCR van het model kan tekens met een vergelijkbare vorm verwarren—0 en O, 1 en l—wat onbelangrijk is voor een artikelkop maar onaanvaardbaar voor een IBAN of orderreferentie: verifieer altijd kritieke gegevens, of gebruik DOM-extractie voor die velden.
Kosten komen daarna. Elke screenshot telt als een image-input, waarvan de prijs afhangt van de grootte en het model—OpenAI biedt een calculator om dit te schatten—en een extractie met scrollen ketent veel beurten aan elkaar. Omdat de volledige ketengeschiedenis bij elk verzoek opnieuw als input wordt gefactureerd, groeien de kosten van een lange verzameling sneller dan het aantal screenshots. Daarom verdient elke grote volume die dagelijks verzameld moet worden, meting op een paar echte pagina’s voordat deze naar productie gaat. Tijd volgt dezelfde logica: elke beurt wacht op een modelantwoord, wat geschikt is voor nachtelijke verwerking maar zelden voor een gebruikersinterface die op een antwoord wacht.
Belangrijkste punten
- Computer Use blinkt uit in het extraheren van gegevens van visueel complexe pagina’s
- Vraag altijd een gestructureerd uitvoerformaat (JSON) in de prompt
- Combineer AI-navigatie met Playwright DOM-extractie voor hogere betrouwbaarheid
- Houd rekening met scrollen op lange pagina’s
- Verifieer kritieke numerieke gegevens omdat impliciete OCR niet perfect is