Ekstrahowanie danych ze stron internetowych
Na tej stronie
Lekcja zaktualizowana 3 listopada 2026 r. na podstawie przewodnika Computer Use od OpenAI: zadanie kończy się, gdy odpowiedź nie zawiera
computer_call, a nie w oparciu ostop_reasonz API Anthropic używanego w poprzedniej wersji. Skrypt ekstrakcji DOM zawierał nieujęte w cudzysłów selektory, co powodowało błąd JavaScript; zostało to naprawione. Dane liczbowe bez źródła (liczba tokenów na zrzut ekranu, czas trwania na stronę) zastąpiono współczynnikami kosztów udokumentowanymi przez OpenAI. Źródła: Computer Use · Kalkulator kosztów obrazów.
Scraping oparty na wizji
Klasyczny ekstraktor odczytuje HTML: przechodzi przez DOM, podąża za hierarchią tagów i przestaje działać w dniu, w którym strona przełącza się na renderowanie po stronie klienta lub zmienia nazwy swoich klas. Computer Use działa inaczej – agent czyta ekran tak jak zrobiłby to człowiek, a następnie zwraca to, co zrozumiał, w żądanym przez Ciebie formacie. Praktyczne skutki są znaczące: strony wcześniej niedostępne dla scraperów stają się dostępne, ponieważ to, co widzi agent, jest dokładnie tym, co widzi użytkownik.
Czytaj i raportuj
Najprostszy przypadek polega na poproszeniu o odczyt widocznej treści i zwrócenie jej w ustrukturyzowanej formie. Kluczowym punktem jest wymuszenie formatu wyjścia w prompcie: bez instrukcji model odpowiada prozą, zmuszając Cię do parsowania wolnego tekstu, co niweczy całą korzyść z tej operacji.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Agent widzi zrzut ekranu, identyfikuje nagłówki i zwraca JSON w swojej końcowej odpowiedzi tekstowej – tej, która pojawia się, gdy odpowiedź nie zawiera już computer_call. Odczytujesz to z response.output_text.
Ekstrahowanie treści spoza ekranu
Widok o wysokości 720 pikseli pokazuje tylko ułamek strony z wynikami. Musisz więc opisać nie tylko to, co należy zebrać, ale także sposób nawigacji po stronie oraz warunek zatrzymania. W przeciwnym razie agent będzie przewijał stronę, aż wyczerpią się Twoje iteracje, zwracając niekompletne dane.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Tabele są najbardziej sprzyjającym terenem, ponieważ model natychmiast rozumie wizualne struktury tabelaryczne: kojarzy komórkę z jej kolumną dzięki prostemu wyrównaniu, podczas gdy ekstraktor DOM musi liczyć elementy <td> i gubi się, gdy tylko komórka zostanie scalona. Opisz oczekiwane kolumny, a on wypełni wiersze.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Podejście hybrydowe: Nawigacja wzrokowa, ekstrakcja przez DOM
W przypadku danych wrażliwych – kwot, odniesień do produktów – odczyt wizualny pozostaje przybliżony. Najbardziej solidna kombinacja dzieli role zgodnie z mocnymi stronami każdego narzędzia: agent zajmuje się tym, co trudno zautomatyzować skryptem, czyli dotarciem do właściwej strony poprzez wyszukiwania, filtry i okna dialogowe zgody; Playwright przejmuje stamtąd, gdzie liczy się precyzja, odczytując wartości bezpośrednio z DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Struktury niestandardowe
Karty produktów, profile, listingi: te układy wymykają się regularnym szablonom i to właśnie tutaj wizja przejmuje prowadzenie. Prompt musi wtedy nazwać każde oczekiwane pole, określić jego typ i podać kompletny przykład wyjścia. W przeciwnym razie możesz otrzymać „250 000 €“ w jednym rekordzie, a 250000 w następnym, co spowoduje awarię dalszego przetwarzania już na pierwszej linii.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Zachowanie możliwości śledzenia ekstrakcji
Ekstrakcja bez metadanych staje się bezużyteczna trzy tygodnie później: nie wiesz już, skąd pochodzą liczby ani kiedy zostały datowane, co czyni porównanie z kolejnym zbiorem bezsensownym. Systematycznie zapisuj źródło i znacznik czasu wraz z danymi.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Czego wizja Ci nie da
Precyzja numeryczna to pierwsze ograniczenie. Implikowane OCR modelu może mylić znaki o podobnym kształcie – 0 i O, 1 i l – co jest bez znaczenia dla nagłówka artykułu, ale nie do przyjęcia w przypadku numeru IBAN czy referencji zamówienia: zawsze weryfikuj dane krytyczne lub użyj ekstrakcji DOM dla tych pól.
Koszt jest kolejnym czynnikiem. Każdy zrzut ekranu liczy się jako dane wejściowe obrazu, których cena zależy od rozmiaru i modelu – OpenAI udostępnia kalkulator do szacowania tego – a ekstrakcja z przewijaniem łączy ze sobą wiele tur. Ponieważ cała historia łańcucha jest ponownie rozliczana jako dane wejściowe przy każdym żądaniu, koszt długiego zbierania rośnie szybciej niż liczba zrzutów ekranu. Dlatego każdy duży wolumen do codziennego zbierania wymaga pomiaru na kilku rzeczywistych stronach przed przejściem do produkcji. Czas podlega tej samej logice: każda tura czeka na odpowiedź modelu, co odpowiada przetwarzaniu nocnemu, ale rzadko interfejsowi użytkownika oczekującemu na odpowiedź.
Kluczowe wnioski
- Computer Use doskonale radzi sobie z ekstrakcją danych ze stron wizualnie złożonych
- Zawsze żądaj ustrukturyzowanego formatu wyjścia (JSON) w prompcie
- Połącz nawigację AI z ekstrakcją DOM przez Playwright dla większej niezawodności
- Zaplanuj przewijanie na długich stronach
- Weryfikuj krytyczne dane numeryczne, ponieważ implikowane OCR nie jest doskonałe