Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Webbrowsen

Les 5 van 14 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Meer dan alleen klikken
  2. Twee manieren om ergens te komen
  3. De cookiebanner: obstakel nummer één
  4. Drie manieren om te wachten
  5. Een lange reis begeleiden
  6. Tabbladen worden niet door de AI beheerd
  7. Afbeeldingskwaliteit bepaalt alles overig
  8. Belangrijkste punten

Les bijgewerkt op 3 november 2026 op basis van de gids Computer use van OpenAI, de Integration recipes en de referentie voor de Responses API: instructies moeten via de parameter instructions worden doorgegeven en bij elk verzoek opnieuw worden verzonden, omdat ze niet worden overgedragen via previous_response_id; het script dat target="_blank" verwijderde, bevatte een JavaScript-syntaxfout en dekte alleen reeds aanwezige links; aanbevelingen voor afbeeldingen volgen nu de richtlijnen van OpenAI (detail: "original", formaat wijzigen met coördinaatconversie). Bronnen: Integration recipes · Computer use.

Meer dan alleen klikken

Voor een agent is browsen niet simpelweg een URL openen. Het is navigeren door een echt web vol omleidingen, pagina’s die vier seconden nodig hebben om te renderen, cookiebanners die alles bedekken en inhoud die pas verschijnt na meerdere keren scrollen. Een agent die deze wrijvingen negeert, faalt al bij de tweede pagina; een agent die ze anticipateert, legt een reis van tien schermen af zonder enige tussenkomst.

Twee manieren om ergens te komen

Wanneer u het exacte adres kent, vraag de AI dan niet om het te zoeken: stuur de browser er direct naartoe.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Omgekeerd, wanneer het adres afhangt van wat er wordt weergegeven—het derde product in een op prijs gesorteerde lijst, een dynamisch gegenereerde link “Bekijk factuur”—laat het model dan kijken en klikken.

# De AI ziet de screenshot en besluit op een link te klikken
# Dit gebeurt automatisch in de Computer Use-lus

De juiste aanpak is om beide in één workflow te combineren: directe navigatie voor bekende mijlpalen in uw reis, en visuele navigatie voor alles wat onderweg wordt ontdekt. Dit bespaart u kostbare iteraties die geen waarde toevoegen.

De cookiebanner: obstakel nummer één

In Europa toont bijna elke site bij de eerste laadbeurt een toestemmingsbanner. Zolang deze aanwezig is, vangt hij klikken op, en draait uw agent rondjes zonder te begrijpen waarom de pagina niet reageert. Improviseer geen oplossing per site: bak het eenmalig en voor altijd in de instructies van de agent—de parameter instructions van de Responses API, die fungeert als systeemprompt—met een duidelijke richtlijn over wat moet worden geweigerd.

INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
  refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
  otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""

# Geef dit door aan ELK verzoek in de lus: bij previous_response_id
# worden instructies van de vorige respons niet overgedragen.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

De volgorde van de eerste twee regels is belangrijk: de agent weigert standaard, en accepteren blijft een beslissing voor de persoon die de taak toewijst, niet voor het model. Let ook op de code-opmerking: de documentatie van de Responses API stelt dat instructions van de ene respons niet worden overgedragen naar de volgende bij ketening via previous_response_id. Een lus die ze alleen in de eerste beurt verzendt, raakt ze in de tweede kwijt.

Drie manieren om te wachten

Moderne pagina’s laden inhoud asynchroon, en uw agent kan klikken waar een knop nog niet is aangekomen. De meest betrouwbare oplossing blijft de netwerk-wacht van Playwright, die de controle teruggeeft zodra alle verzoeken zijn voltooid.

page.goto(url)
page.wait_for_load_state("networkidle")
# Alle netwerkaanvragen zijn voltooid

Dit is niet overal voldoende: bij een app die een persistente verbinding onderhoudt—websocket, polling, live chat—is het netwerk nooit inactief, en loopt de wacht uiteindelijk op een time-out. Valt terug op een eenvoudige vertraging voordat u een screenshot maakt.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Wacht, maak vervolgens een screenshot."""
    time.sleep(wait_seconds)
    return page.screenshot()

Er is een derde, vaak over het hoofd geziene weg: vertrouw het oordeel toe aan het model zelf. Het ziet de laadspinner of half gerenderde inhoud en begrijpt dat het beter is om een extra screenshot aan te vragen dan blindelings te handelen.

task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading 
(spinner visible, partial content), 
wait for an additional screenshot before acting.
"""

Een lange reis begeleiden

Over een reeks van meerdere pagina’s valt een taak die in één zin is geformuleerd halverwege uit elkaar: de agent vergeet de helft van de instructies bij het derde scherm. Splits het op in expliciete stappen—dankzij respons-ketening via previous_response_id houdt het model bij welke het al heeft voltooid en weet het altijd waar het staat.

task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""

Tabbladen worden niet door de AI beheerd

Computer Use werkt op slechts één viewport. Als een link opent in een nieuw tabblad, blijft de agent het oude fotograferen en begrijpt het niet waarom er niets verandert—een klassieke situatie bij target="_blank"-links, die op bijna elke nieuwssite voorkomen. Los dit upstream op in Playwright, zodat het model zich er geen zorgen over hoeft te maken.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Houd navigatie in het tabblad dat de agent fotografeert."""
    # Bij elke geladen pagina opent een klik op een target="_blank"-link
    # deze in het huidige tabblad...
    context.add_init_script(REMOVE_BLANK)
    # ... en elk venster dat door een script wordt geopend, wordt direct gesloten
    page.on("popup", lambda popup: popup.close())

Het initialisatiescript wordt op elke pagina uitgevoerd voordat de eigen scripts van die pagina laden: de listener, ingesteld tijdens de vastlegfase, verwijdert het target-attribuut voordat de browser de link volgt. De popup-gebeurtenis van de pagina dekt wat overblijft: vensters geopend door window.open.

Afbeeldingskwaliteit bepaalt alles overig

Een wazige of bijgesneden screenshot produceert een agent die op de verkeerde knop klikt, en u besteedt meer tijd aan het debuggen van de fouten dan aan het fixen van de screenshot. Leg het zichtbare viewport vast in plaats van de volledige pagina: een full_page-vastlegging produceert een te grote afbeelding, en erger nog, de coördinaten komen niet meer overeen met het scherm waar page.mouse klikt.

import base64

def optimized_screenshot(page) -> str:
    """Leg zichtbare viewport vast als PNG, in base64."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Alleen het zichtbare viewport
    )
    return base64.b64encode(screenshot).decode("utf-8")

Aan de API-kant raadt OpenAI aan vastleggingen te verzenden met detail: "original", wat de resolutie behoudt en de klikprecisie verbetert, en adviseert het af te zien van high en low voor Computer Use. Een grote vastlegging verbruikt meer tokens, en de API kan deze verkleinen of zelfs weigeren als de limieten worden overschreden. Als u uw vastleggingen moet verkleinen, doe dit dan voor het verzenden en converteer de coördinaten van het model naar de ruimte van de originele afbeelding; OpenAI rapporteert goede resultaten met desktops op 1440×900 en 1600×900. De viewport van 1280×720 die in deze cursus wordt gebruikt, behoeft geen verkleining.

Belangrijkste punten

  • Combineer directe navigatie (bekende URL’s) en visuele navigatie (dynamische links) op basis van de context
  • Verwerk GDPR-popups in de instructions van de agent, opnieuw verzonden bij elk verzoek
  • Wacht tot het volledig laden is voltooid voordat u een screenshot maakt
  • Leg het zichtbare viewport vast en verzend het met detail: "original"; als u de afbeelding verkleint, converteer dan de coördinaten
  • Handel nieuwe tabbladen af in Playwright, niet in de AI