Web-Browsing
Auf dieser Seite
Lektion aktualisiert am 3. November 2026 basierend auf OpenAIs Computer use-Guide, den Integration recipes und der Responses API-Referenz: Anweisungen müssen über den
instructions-Parameter übermittelt und mit jeder Anfrage erneut gesendet werden, da sie nicht durchprevious_response_idweitergegeben werden. Das Skript, dastarget="_blank"entfernt, enthielt einen JavaScript-Syntaxfehler und deckte nur bereits vorhandene Links ab. Bild-Empfehlungen folgen nun den OpenAI-Richtlinien (detail: "original", Skalierung mit Koordinatenumrechnung). Quellen: Integration recipes · Computer use.
Mehr als nur ein einfacher Klick
Für einen Agenten ist das Browsen nicht nur das Öffnen einer URL. Es ist die Navigation durch ein echtes Web voller Umleitungen, Seiten, die vier Sekunden zum Rendern benötigen, Einwilligungs-Banner, die alles verdecken, und Inhalte, die erst nach mehreren Scrollvorgängen erscheinen. Ein Agent, der diese Reibungsverluste ignoriert, scheitert bereits auf der zweiten Seite; einer, der sie antizipiert, verknüpft eine zehnbildige Reise ohne jegliche Intervention.
Zwei Wege, um ans Ziel zu gelangen
Wenn Sie die genaue Adresse kennen, bitten Sie die KI nicht, sie zu finden: leiten Sie den Browser direkt dorthin.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Umgekehrt, wenn die Adresse davon abhängt, was angezeigt wird – das dritte Produkt in einer nach Preis sortierten Liste, ein dynamisch generierter Link „Rechnung anzeigen” – lassen Sie das Modell suchen und klicken.
# Das AI sieht den Screenshot und entscheidet sich, einen Link zu klicken
# Dies geschieht automatisch im Computer-Use-Loop
Der richtige Ansatz besteht darin, beide Methoden in einem einzigen Workflow zu kombinieren: direkte Navigation für bekannte Meilensteine Ihrer Reise und visuelle Navigation für alles, das unterwegs entdeckt wird. Dies spart Ihnen kostspielige Iterationen, die keinen Mehrwert bieten.
Das Cookie-Banner: Hindernis Nummer eins
In Europa zeigt fast jede Website beim ersten Laden ein Einwilligungs-Banner an. Solange es vorhanden ist, fängt es Klicks ab, und Ihr Agent dreht nur die Räder, ohne zu verstehen, warum die Seite nicht reagiert. Improvisieren Sie keine Lösung von Seite zu Seite: backen Sie es einmal und für alle in die Anweisungen des Agenten – den instructions-Parameter der Responses API, die als System-Prompt fungiert – mit einer klaren Direktive darüber, was abgelehnt werden soll.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Pass this to EVERY request in the loop: with previous_response_id,
# instructions from the previous response are not carried over.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Die Reihenfolge der ersten beiden Regeln ist wichtig: Der Agent lehnt standardmäßig ab, und die Annahme bleibt eine Entscheidung für die Person, die die Aufgabe erteilt, nicht für das Modell. Beachten Sie zudem den Code-Kommentar: Die Dokumentation der Responses API besagt, dass instructions aus einer Antwort nicht auf die nächste weitergegeben werden, wenn über previous_response_id verknüpft wird. Ein Loop, der sie nur im ersten Durchlauf sendet, verliert sie im zweiten.
Drei Wege zu warten
Moderne Seiten laden Inhalte asynchron, und Ihr Agent könnte klicken, wo noch keine Schaltfläche angekommen ist. Die zuverlässigste Lösung bleibt das Netzwerk-Wait von Playwright, das die Kontrolle zurückgibt, sobald alle Anfragen abgeschlossen sind.
page.goto(url)
page.wait_for_load_state("networkidle")
# Alle Netzwerk-Anfragen sind abgeschlossen
Das reicht nicht überall: Bei einer App, die eine persistente Verbindung aufrechterhält – WebSocket, Polling, Live-Chat – ist das Netzwerk niemals inaktiv, und das Warten läuft schließlich über die Zeit. Fallbacken Sie auf eine einfache Verzögerung vor der Erfassung.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Wait, then capture a screenshot."""
time.sleep(wait_seconds)
return page.screenshot()
Es gibt einen dritten, oft übersehenen Weg: Überlassen Sie das Urteil dem Modell selbst. Es sieht den Ladebalken oder halbgerenderten Inhalt und versteht, dass es besser ist, eine zusätzliche Screenshot-Anfrage zu stellen, als blind zu handeln.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Führung einer langen Reise
Über eine Sequenz mehrerer Seiten zerfällt eine Aufgabe, die in einem einzigen Satz formuliert wurde, unterwegs: Der Agent vergisst bis zur dritten Seite die Hälfte der Anweisungen. Zerlegen Sie sie in explizite Schritte – dank der Antwortverkettung über previous_response_id hält das Modell die bereits abgeschlossenen im Blick und weiß immer, wo es steht.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Tabs werden nicht vom AI verwaltet
Computer Use funktioniert nur in einem einzigen Viewport. Wenn ein Link in einem neuen Tab geöffnet wird, fotografiert der Agent weiterhin den alten und versteht nicht, warum sich nichts geändert hat – eine klassische Situation mit target="_blank"-Links, die auf fast jeder Nachrichtenseite zu finden sind. Lösen Sie dies upstream in Playwright, damit das Modell sich nicht darum kümmern muss.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Keep navigation in the tab the agent photographs."""
# On every loaded page, a click on a target="_blank" link
# opens it in the current tab...
context.add_init_script(REMOVE_BLANK)
# ... and any window opened by script is closed immediately
page.on("popup", lambda popup: popup.close())
Das Initialisierungsskript läuft auf jeder Seite vor deren eigenen Skripten: Der Listener, der während der Erfassungsphase gesetzt wird, entfernt das target-Attribut, bevor der Browser dem Link folgt. Das popup-Event der Seite deckt das Restliche ab: Fenster, die durch window.open geöffnet werden.
Bildqualität bestimmt alles andere
Ein unscharfer oder abgeschnittener Screenshot erzeugt einen Agenten, der auf die falsche Schaltfläche klickt, und Sie werden mehr Zeit damit verbringen, seine Fehler zu debuggen, als den Screenshot zu korrigieren. Erfassen Sie den sichtbaren Viewport anstelle der gesamten Seite: Eine full_page-Erfassung erzeugt ein zu großes Bild, und schlimmer noch, die Koordinaten stimmen nicht mehr mit dem Bildschirm überein, auf dem page.mouse klickt.
import base64
def optimized_screenshot(page) -> str:
"""Capture visible viewport as PNG, in base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Nur der sichtbare Viewport
)
return base64.b64encode(screenshot).decode("utf-8")
Auf der API-Seite empfiehlt OpenAI, Erfassungen mit detail: "original" zu senden, was die Auflösung bewahrt und die Klick-Präzision verbessert, und rät von high und low für Computer Use ab. Eine große Erfassung verbraucht mehr Tokens, und die API kann sie skalieren oder sogar ablehnen, wenn sie die Grenzen überschreitet. Wenn Sie Ihre Erfassungen reduzieren müssen, tun Sie dies vor dem Senden und konvertieren Sie die Koordinaten des Modells in den Raum des Originalbildes; OpenAI meldet gute Ergebnisse mit Desktops bei 1440×900 und 1600×900. Der im Kurs verwendete Viewport von 1280×720 benötigt keine Reduzierung.
Kernaussagen
- Kombinieren Sie direkte Navigation (bekannte URLs) und visuelle Navigation (dynamische Links) basierend auf dem Kontext
- Behandeln Sie DSGVO-Popups in den
instructionsdes Agenten, die mit jeder Anfrage erneut gesendet werden - Warten Sie auf das vollständige Laden, bevor Sie einen Screenshot erfassen
- Erfassen Sie den sichtbaren Viewport und senden Sie ihn mit
detail: "original"; wenn Sie das Bild skalieren, konvertieren Sie die Koordinaten - Behandeln Sie neue Tabs in Playwright, nicht im AI