Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Daten aus Webseiten extrahieren

Lektion 7 von 14 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Vision-basiertes Scraping
  2. Lesen und Berichten
  3. Inhalt jenseits des Bildschirms extrahieren
  4. Der hybride Ansatz: Navigieren durch Vision, Extrahieren über DOM
  5. Nicht-standardisierte Strukturen
  6. Extraktionsnachverfolgung bewahren
  7. Was Vision nicht liefert
  8. Kernaussagen

Lektion aktualisiert am 3. November 2026 basierend auf OpenAIs Computer Use-Guide: Eine Aufgabe endet, wenn die Antwort keinen computer_call enthält, nicht basierend auf dem stop_reason aus Anthropics API, die in der vorherigen Version verwendet wurde. Das DOM-Extraktions-Skript hatte unquoted Selektoren, was einen JavaScript-Fehler verursachte; dies wurde nun behoben. Nicht belegte Zahlen (Tokens pro Screenshot, Dauer pro Seite) wurden durch von OpenAI dokumentierte Kostenfaktoren ersetzt. Quellen: Computer Use · Image Cost Calculator.

Vision-basiertes Scraping

Ein klassischer Extraktor liest HTML: Er durchläuft das DOM, folgt einer Hierarchie von Tags und bricht ab, wenn die Seite auf clientseitiges Rendering umschaltet oder ihre Klassen umbennt. Computer Use funktioniert anders: Das Agent liest den Bildschirm genau wie ein Mensch und gibt dann das verstandene Ergebnis im von Ihnen gewünschten Format zurück. Die praktische Auswirkung ist erheblich: Webseiten, die für Scraper zuvor unzugänglich waren, stehen nun zur Verfügung, da das, was das Agent sieht, genau dem entspricht, was der Nutzer sieht.

Lesen und Berichten

Der einfachste Fall beinhaltet die Anforderung einer Lektüre des sichtbaren Inhalts und einer strukturierten Rückgabe. Der kritische Punkt besteht darin, das Ausgabeformat im Prompt durchzusetzen: Ohne Anweisungen antwortet das Modell in Prosa, was Sie zwingt, freien Text zu parsen, was den gesamten Nutzen der Operation zunichtemacht.

task = """
Gehen Sie zu https://news.example.com und extrahieren Sie die ersten 5 
Artikelüberschriften, die auf der Startseite sichtbar sind.

Geben Sie das Ergebnis im JSON-Format zurück:
[
  {"rank": 1, "title": "..."},
  {"rank": 2, "title": "..."},
  ...
]
"""

Das Agent sieht den Screenshot, identifiziert die Überschriften und gibt das JSON in seiner finalen Textantwort zurück – diejenige, die eintreffen, wenn die Antwort keinen computer_call mehr enthält. Sie lesen dies aus response.output_text.

Inhalt jenseits des Bildschirms extrahieren

Ein Viewport mit einer Höhe von 720 Pixeln zeigt nur einen Bruchteil einer Ergebnisliste. Sie müssen daher nicht nur beschreiben, was gesammelt werden soll, sondern auch, wie die Seite navigiert und die Abbruchbedingung definiert werden muss. Andernfalls wird das Agent so lange scrollen, bis Ihre Iterationen aufgebraucht sind, und dabei abgeschnittene Daten zurückgeben.

task = """
Auf dieser Suchergebnisseite:
1. Lesen Sie alle sichtbaren Ergebnisse und notieren Sie diese
2. Scrollen Sie nach unten, um weitere Ergebnisse zu sehen
3. Fortfahren, bis Sie 20 Ergebnisse gesammelt haben oder das Ende der Seite erreicht ist

Für jedes Ergebnis extrahieren Sie:
- Titel
- URL
- Kurze Beschreibung

Geben Sie alles im JSON-Format zurück.
"""

Tabellen sind das günstigste Terrain, da das Modell visuelle tabellarische Strukturen sofort erfasst: Es ordnet eine Zelle ihrer Spalte durch einfache Ausrichtung zu, wohingegen ein DOM-Extraktor <td>-Elemente zählen muss und sich verliert, sobald eine Zelle verschmolzen ist. Beschreiben Sie die erwarteten Spalten, und das Modell füllt die Zeilen.

task = """
Öffnen Sie https://stats.example.com/prices und extrahieren Sie die Preistabelle, 
die auf der Seite angezeigt wird.

Die Tabelle hat die Spalten: Produkt, Preis ex-VAT, MwSt., Preis inkl.-VAT.
Extrahieren Sie alle Zeilen und geben Sie im JSON zurück:
{
  "headers": ["Produkt", "Preis ex-VAT", "MwSt.", "Preis inkl.-VAT"],
  "rows": [
    ["Widget A", "10.00", "20%", "12.00"],
    ...
  ]
}
"""

Der hybride Ansatz: Navigieren durch Vision, Extrahieren über DOM

Bei sensiblen Daten – Beträge, Produktreferenzen – bleibt das visuelle Lesen ungenau. Die robusteste Kombination teilt die Rollen entsprechend der Stärke jedes Werkzeugs: Das Agent übernimmt den Teil, der schwer zu skripten ist, nämlich das Erreichen der richtigen Seite über Suchen, Filter und Einwilligungsdialoge; Playwright übernimmt dann dort, wo Präzision am wichtigsten ist, indem es Werte direkt aus dem DOM liest.

def extract_with_dom(page, task_description: str):
    """Verwenden Sie Computer Use zur Navigation und Playwright zur Extraktion."""
    # Phase 1: Computer Use navigiert und identifiziert den Bereich
    run_agent(task_description, page=page)
    
    # Phase 2: Playwright extrahiert präzise Daten
    data = page.evaluate("""
        () => {
            const rows = document.querySelectorAll('table tbody tr');
            return Array.from(rows).map(row => {
                const cells = row.querySelectorAll('td');
                return Array.from(cells).map(c => c.textContent.trim());
            });
        }
    """)
    
    return data

Nicht-standardisierte Strukturen

Produktkarten, Profile, Listen: Diese Layouts entkommen regulären Vorlagen, und genau hier übernimmt die Vision die Führung. Der Prompt muss dann jedes erwartete Feld benennen, seinen Typ angeben und ein vollständiges Ausgabebeispiel liefern. Andernfalls könnten Sie in einer Datensatz “€250.000” und in einem anderen 250000 erhalten, was die nachgelagerte Verarbeitung an der ersten Zeile zum Scheitern bringt.

task = """
Auf dieser Immobilien-Ergebnisseite extrahieren Sie für jede Anzeige:
- Preis (Zahl, in Euro)
- Fläche (in m²)
- Zimmer (Ganzzahl)
- Stadt
- Postleitzahl
- listing_url

Scrollen Sie nach, um weitere Anzeigen zu laden, falls erforderlich.
Stoppen Sie, wenn Sie 10 Anzeigen haben oder wenn keine mehr vorhanden sind.

Strenge JSON-Ausgabeformat:
{
  "listings": [
    {
      "price": 250000,
      "area": 65,
      "rooms": 3,
      "city": "Paris",
      "postal_code": "75011",
      "listing_url": "https://..."
    }
  ]
}
"""

Extraktionsnachverfolgung bewahren

Eine Extraktion ohne Metadaten ist in drei Wochen unbrauchbar: Sie wissen nicht mehr, woher die Zahlen stammen oder wann sie datiert wurden, wodurch ein Vergleich mit der nächsten Sammlung sinnlos wird. Registrieren Sie systematisch die Quelle und den Zeitstempel zusammen mit den Daten.

import json
from datetime import datetime, timezone

def save_extraction(data: dict, source_url: str):
    """Extrahierte Daten mit Metadaten speichern."""
    now = datetime.now(timezone.utc)
    output = {
        "source": source_url,
        "extracted_at": now.isoformat(),
        "data": data,
    }

    filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(output, f, ensure_ascii=False, indent=2)
    
    print(f"Daten gespeichert in {filename}")

Was Vision nicht liefert

Numerische Präzision ist die erste Einschränkung. Die implizite OCR des Modells kann Zeichen ähnlicher Form verwechseln – 0 und O, 1 und l –, was für eine Artikelüberschrift unbedeutend ist, aber für eine IBAN oder eine Bestellreferenz inakzeptabel: Überprüfen Sie kritische Daten immer, oder verwenden Sie die DOM-Extraktion für diese Felder.

Kosten kommen als Nächstes. Jeder Screenshot zählt als Bild-Eingabe, dessen Preis von seiner Größe und dem Modell abhängt – OpenAI stellt einen Rechner zur Verfügung, um dies zu schätzen – und eine Extraktion mit Scrollen verknüpft viele Runden miteinander. Da die gesamte Kettenhistorie bei jeder Anfrage als Eingabe erneut berechnet wird, wächst die Kosten einer langen Sammlung schneller als die Anzahl ihrer Screenshots. Daher lohnt sich bei großen Volumina, die täglich gesammelt werden sollen, eine Messung auf wenigen echten Seiten, bevor Sie in die Produktion gehen. Zeit folgt derselben Logik: Jede Runde wartet auf eine Modellantwort, was für die Verarbeitung über Nacht geeignet ist, aber selten für eine Benutzeroberfläche, die auf eine Antwort wartet.

Kernaussagen

  • Computer Use eignet sich hervorragend zum Extrahieren von Daten aus visuell komplexen Seiten
  • Fordern Sie im Prompt immer ein strukturiertes Ausgabeformat (JSON) an
  • Kombinieren Sie KI-Navigation mit Playwright-DOM-Extraktion für höhere Zuverlässigkeit
  • Planen Sie Scrollen bei langen Seiten ein
  • Überprüfen Sie kritische numerische Daten, da die implizite OCR nicht perfekt ist