Extraction de données depuis des pages web
Šiame puslapyje
Leçon mise à jour le 3 novembre 2026 sur la base du guide Computer Use d’OpenAI : une tâche se termine lorsque la réponse ne contient plus de
computer_call, et non plus sur la base dustop_reasonde l’API d’Anthropic utilisé dans la version précédente. Le script d’extraction du DOM contenait des sélecteurs non mis entre guillemets, provoquant une erreur JavaScript ; ceci est désormais corrigé. Les chiffres non sourcés (jetons par capture d’écran, durée par page) ont été remplacés par des facteurs de coût documentés par OpenAI. Sources : Computer Use · Calculateur de coût d’image.
Scraping basé sur la vision
Un extracteur classique lit le HTML : il parcourt le DOM, suit une hiérarchie de balises, et tombe en panne le jour où le site passe au rendu côté client ou renomme ses classes. Computer Use fonctionne différemment : l’agent lit l’écran exactement comme le ferait un humain, puis renvoie ce qu’il a compris dans le format que tu as demandé. L’impact pratique est significatif : des sites auparavant inaccessibles aux scrapers deviennent disponibles, car ce que voit l’agent correspond exactement à ce que voit l’utilisateur.
Lire et rapporter
Le cas le plus simple consiste à demander une lecture du contenu visible et un retour structuré. Le point critique est d’imposer le format de sortie dans le prompt : sans instructions, le modèle répond en prose, t’obligeant à analyser du texte libre, ce qui ruine tout l’intérêt de l’opération.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
L’agent voit la capture d’écran, identifie les titres et renvoie le JSON dans sa réponse textuelle finale — celle qui arrive lorsque la réponse ne contient plus de computer_call. Tu la lis depuis response.output_text.
Extraire du contenu au-delà de l’écran
Une fenêtre d’affichage (viewport) de 720 pixels de haut ne montre qu’une fraction d’une page de résultats. Tu dois donc décrire non seulement quoi collecter, mais aussi comment naviguer dans la page et quelle est la condition d’arrêt. Sinon, l’agent fera défiler la page jusqu’à épuisement de tes itérations, renvoyant des données tronquées.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Les tableaux sont le terrain le plus favorable car le modèle saisit immédiatement les structures tabulaires visuelles : il associe une cellule à sa colonne par simple alignement, alors qu’un extracteur DOM doit compter les éléments <td> et se perd dès qu’une cellule est fusionnée. Décris les colonnes attendues, et il remplira les lignes.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
L’approche hybride : naviguer par la vision, extraire via le DOM
Pour les données sensibles — montants, références produits — la lecture visuelle reste approximative. La combinaison la plus robuste répartit les rôles selon les forces de chaque outil : l’agent gère la partie difficile à scripter, à savoir atteindre la bonne page via des recherches, des filtres et des dialogues de consentement ; Playwright prend ensuite le relais là où la précision compte le plus, en lisant les valeurs directement depuis le DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Structures non standard
Cartes produits, profils, listes : ces mises en page échappent aux modèles réguliers, et c’est précisément là que la vision prend le dessus. Le prompt doit alors nommer chaque champ attendu, spécifier son type et fournir un exemple de sortie complet. Sinon, tu risques de récupérer „250 000 €“ dans un enregistrement et 250000 dans le suivant, ce qui fera échouer le traitement en aval dès la première ligne.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Préserver la traçabilité de l’extraction
Une extraction sans métadonnées devient inutilisable trois semaines plus tard : tu ne sais plus d’où viennent les chiffres ni quand ils ont été datés, rendant toute comparaison avec la collecte suivante dénuée de sens. Enregistre systématiquement la source et l’horodatage alongside les données.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Ce que la vision ne te donnera pas
La précision numérique est la première limitation. L’OCR implicite du modèle peut confondre des caractères de forme similaire — 0 et O, 1 et l —, ce qui est sans conséquence pour un titre d’article mais inacceptable pour un IBAN ou une référence de commande : vérifie toujours les données critiques, ou utilise l’extraction DOM pour ces champs.
Le coût vient ensuite. Chaque capture d’écran compte comme une entrée d’image, dont le prix dépend de sa taille et du modèle — OpenAI fournit un calculateur pour l’estimer — et une extraction avec défilement enchaîne de nombreux tours. Comme l’historique complet de la chaîne est refacturé en entrée à chaque requête, le coût d’une longue collecte croît plus vite que son nombre de captures d’écran. Par conséquent, tout volume important à collecter quotidiennement justifie une mesure sur quelques pages réelles avant la mise en production. Le temps suit la même logique : chaque tour attend une réponse du modèle, ce qui convient au traitement nocturne mais rarement à une interface utilisateur attendant une réponse.
Svarbiausi punktai
- Computer Use excelle dans l’extraction de données depuis des pages visuellement complexes
- Demande toujours un format de sortie structuré (JSON) dans le prompt
- Combine la navigation par IA avec l’extraction DOM de Playwright pour une fiabilité accrue
- Prévois le défilement pour les pages longues
- Vérifie les données numériques critiques car l’OCR implicite n’est pas parfait