Formulare ausfüllen und klicken
Auf dieser Seite
Lektion aktualisiert am 3. November 2026 basierend auf den Bestätigungsrichtlinien von OpenAI und der Playwright-Dokumentation: Die Tippverzögerung wird nicht mehr als Methode zur Umgehung von Anti-Bot-Erkennung dargestellt; die Auswahl erfolgt über
ControlOrMeta+a, was auch auf macOS funktioniert; einpage.screenshot()zeigt das native Dateiauswahldialogfenster nicht an, im Gegensatz zu dem, was die vorherige Version behauptete; Richtlinien werden über deninstructions-Parameter übermittelt. Quellen: Bestätigung und Zustimmung · Playwright, Tastatur.
Die häufigste Interaktion
Wenn Sie nur eine Geste beherrschen, dann sollte es diese sein. Das Einreichen einer Kontaktanfrage, das Ausfüllen eines Angebots, das Erfassen eines Kundenstammdatensatzes in einem CRM ohne API: Formulare sind der obligatorische Kontrollpunkt für die meisten Automatisierungen. Hier scheitern auch schlecht konfigurierte Agenten am häufigsten, und zwar aus sehr konkreten Gründen, die wir in dieser Lektion einzeln behandeln.
Klicken vor dem Tippen
Die Aktion type schreibt nicht in ein Feld; sie schreibt in das aktuell fokussierte Feld. Diesen Nuancen vergessen Sie nur einmal: Ohne einen vorherigen Klick landet Ihr Text im Nichts oder, noch heimtückischer, wird an das vorherige Feld angehängt. Die Sequenz ist daher invariant: Ein Klick zur Fokussierung, dann das Tippen.
# In Ihrem Aktionsausführer
def execute_type(page, text: str):
"""Tippt Text in das fokussierte Feld."""
page.keyboard.type(text, delay=50)
Die Einstellung delay=50 verdient Aufmerksamkeit. keyboard.type sendet bereits Tastaturereignisse Zeichen für Zeichen, aber ohne Verzögerung werden sie so schnell wie möglich hintereinander geschickt; mit fünfzig Millisekunden zwischen den Tastenanschlägen sinkt die Rate auf zwanzig Zeichen pro Sekunde. Felder, die auf jeden Tastenanschlag reagieren – Autovervollständigung, Telefonnummern-Eingabemasken – haben somit Zeit, mitzuhalten. Diese Einstellung dient nicht dem Durchgehen als Mensch: Eine Website, die Bots blockieren möchte, äußert einen Willen, der respektiert werden muss (Lektion 14).
Ein Feld leeren, bevor man es füllt
Ein vorab gefülltes Formular – Sitzungsfortsetzung, Standardwert, Browser-Autovervollständigung – verwandelt Ihre Eingabe in eine absurde Verkettung: Das Tippen von „Dupont” nach „Martin” ergibt „MartinDupont”, und das Formular akzeptiert dies ohne Fehler. Wählen Sie alles aus, bevor Sie tippen.
def clear_and_type(page, text: str):
"""Wählt allen Inhalt im Feld aus und tippt dann."""
page.keyboard.press("ControlOrMeta+a") # Strg+A oder Cmd+A auf macOS
page.keyboard.type(text, delay=50)
Das Modell entscheidet seine Aktionen basierend auf dem Prompt: Erinnern Sie es an die Regel, sonst tippt es direkt in das besetzte Feld.
task = """
Füllen Sie das Kontaktformular aus:
- Feld "Name": Dupont
- Feld "Email": [email protected]
- Feld "Nachricht": Angebotsanfrage für 50 Lizenzen
WICHTIG: Wählen Sie vor dem Tippen in jedem Feld
allen bestehenden Text aus (Strg+A), um ihn zu ersetzen.
Nachdem alle Felder ausgefüllt sind, klicken Sie auf die Senden-Schaltfläche.
"""
Menüs, Kontrollkästchen und Radiobuttons
Ein <select>-Dropdown erfordert drei Schritte: Ein Klick zum Öffnen, ein Warten, bis die Optionen erscheinen, und ein zweiter Klick auf die gewünschte Option. Die gute Nachricht ist, dass benutzerdefinierte JavaScript-Menüs – jene, die keine echten <select>-Elemente sind und klassischen Skripten so viel Ärger bereiten – genau so behandelt werden, da der Agent nur die visuelle Darstellung sieht: Er klickt, entdeckt die Optionen im nächsten Screenshot und klickt auf die richtige.
Kontrollkästchen und Radiobuttons scheinen einfacher, ein einziger Klick reicht aus, um sie zu aktivieren. Die Falle liegt woanders: Ein Kontrollkästchen, das bereits aktiviert ist, wird beim Klicken deaktiviert, und Ihr Agent hat gerade die Zustimmung widerrufen, die er erteilen sollte. Er muss daher den Zustand vor der Aktion ablesen, und Sie müssen ihn explizit darum bitten. Denken Sie auch daran, dass das Akzeptieren von Bedingungen oder die Erstellung eines Kontos die Person, für die der Agent arbeitet, bindet: Überlassen Sie diese Aktionen ihm nur, wenn diese Person sie explizit angefordert hat.
task = """
Im Registrierungsformular:
1. Aktivieren Sie das Kontrollkästchen „Ich akzeptiere die Bedingungen", falls es nicht aktiviert ist
2. Wählen Sie „Firma" im Kontotyp
3. Klicken Sie auf „Konto erstellen"
Überprüfen Sie den Zustand jedes Elements VOR dem Klicken.
"""
Mehrschirmige Formulare
Ein dreistufiger Registrierungs-Tunnel ist nicht dreimal schwieriger als ein einfaches Formular, sofern Sie die Anweisungen Seite für Seite strukturieren und die Übergänge markieren. Der Agent weiß dann, wann ein Abschnitt abgeschlossen ist und welche Schaltfläche zum nächsten führt. Das Beispiel behandelt fiktive personenbezogene Daten; bei echten Daten denken Sie daran, dass OpenAI das Eingeben sensibler Informationen in ein Formular als Übermittlung betrachtet, was die Zustimmung der betroffenen Person erfordert.
task = """
Füllen Sie das dreistufige Registrierungsformular aus:
SCHRIITT 1 - Persönliche Informationen:
- Vorname: Jean
- Nachname: Dupont
- Geburtsdatum: 03/15/1985
→ Klicken Sie auf „Weiter"
SCHRIITT 2 - Kontaktdaten:
- E-Mail: [email protected]
- Telefon: 06 12 34 56 78
- Adresse: 12 rue de la Paix, 75002 Paris
→ Klicken Sie auf „Weiter"
SCHRIITT 3 - Bestätigung:
- Überprüfen Sie, ob alle Informationen korrekt sind
- Aktivieren Sie „Ich akzeptiere die Nutzungsbedingungen"
→ Klicken Sie auf „Validieren"
"""
Reaktion auf Validierungsfehler
Ein abgelehntes Telefonformat, ein fehlendes Pflichtfeld, ein als zu kurz eingestuftes Passwort: Das Formular gibt eine Meldung zurück und wartet auf eine Korrektur. Genau hier übertrifft Computer Use ein Skript, da der Agent weiß, wie er die angezeigten Fehler liest, anstatt darüber zu stolpern. Sie müssen ihn dennoch darum bitten, nach Fehlern zu suchen und seine Versuche begrenzen, damit ein endgültig abgelehntes Feld ihn nicht in eine endlose Schleife bringt. Diese Regeln gehören in den instructions-Parameter, der mit jeder Anfrage zurückgegeben wird (Lektion 5).
INSTRUCTIONS = """
Nach dem Einreichen eines Formulars:
1. Machen Sie einen Screenshot, um das Ergebnis zu sehen
2. Wenn Fehlermeldungen erscheinen (rot, in einem Kasten),
lesen Sie diese und korrigieren Sie die betroffenen Felder
3. Reichen Sie das Formular erneut ein
4. Wiederholen Sie dies, bis das Formular akzeptiert wird
oder Sie es dreimal versucht haben
"""
Datei-Upload, ein Sonderfall
Es gibt eine Grenze, die kein Prompt überwinden kann: Das Dateiauswahldialogfenster gehört zum Betriebssystem, nicht zur Seite. Der Agent sieht es gar nicht – page.screenshot() erfasst nur den Seiteninhalt – und die Koordinaten, die er erzeugt, gelten für die Seite, nicht für ein natives Fenster. Übergeben Sie die Operation an Playwright, das diesen Dialog vollständig umgeht.
def handle_file_upload(page, file_path: str, selector: str):
"""Lädt eine Datei über Playwright hoch (nicht über Computer Use)."""
page.locator(selector).set_input_files(file_path)
Sie können dem Agenten auch erlauben, auf „Durchsuchen” wie ein Benutzer zu klicken und den Dateiauswahlmechanismus sofort abfangen, wenn er sich öffnet: Der Workflow bleibt von Ende bis Ende natürlich, wobei der Systemteil im Hintergrund abgewickelt wird. In beiden Fällen wählt Ihr Code die Datei aus, niemals das Modell; und das Senden von Dateien gehört zu den Aktionen, die OpenAI Ihnen in der ursprünglichen Anfrage vorab genehmigen lässt, oder die Sie sonst bestätigen müssen.
# Der Agent klickt auf „Durchsuchen", dann fangen Sie ab
page.on("filechooser", lambda fc: fc.set_files("/path/to/file.pdf"))
Kernaussagen
- Klicken Sie immer in ein Feld, bevor Sie darin tippen
- Verwenden Sie
Strg+A(ControlOrMeta+ain Playwright), um ein Feld zu leeren, bevor Sie tippen - Dropdown-Menüs erfordern einen Klick zum Öffnen und dann einen Klick zur Auswahl
- Planen Sie die Fehlerbehandlung bei Validierungen im Prompt vor
- Datei-Uploads müssen von Playwright, nicht von Computer Use, behandelt werden