Извличане на данни от уеб страници
На тази страница
Урокът е актуализиран на 3 ноември 2026 г. въз основа на ръководството Computer Use на OpenAI: една задача приключва, когато отговорът не съдържа
computer_call, а не въз основа наstop_reasonот API на Anthropic, използван в предишната версия. Скриптът за извличане на DOM имаше несъответстващи селектори без кавички, което причиняваше JavaScript грешка; това вече е поправено. Непотвърдените цифри (токъни на скрийншот, продължителност на страница) са заменени с фактори за разходи, документирани от OpenAI. Източници: Computer Use · Калкулатор за разходи за изображения.
Скрейпинг, базиран на визия
Класическият екстрактор чете HTML: той обхожда DOM, следва йерархия от тагове и се проваля в деня, в който сайтът премине към рендиране от страна на клиента или преименува своите класове. Computer Use работи различно – агентът чете екрана точно както би го направил човек, след което връща разбраното във формата, който сте поискали. Практическото въздействие е значително: сайтове, които преди бяха недостъпни за скрепери, стават достъпни, тъй като това, което агентът вижда, е точно това, което вижда потребителят.
Четене и докладване
Най-простият случай включва искане за прочит на видимото съдържание и структурирано връщане. Критичният момент е да наложите формата на изхода в подкана (prompt): без инструкции моделът отговаря с проза, което ви принуждава да анализирате свободен текст, което унищожава цялото предимство на операцията.
task = """
Go to https://news.example.com and extract the first 5 article
headlines visible on the homepage.
Return the result in JSON format:
[
{"rank": 1, "title": "..."},
{"rank": 2, "title": "..."},
...
]
"""
Агентът вижда скрийншота, идентифицира заглавията и връща JSON в своя финален текстов отговор – този, който пристига, когато отговорът вече не съдържа computer_call. Вие го четете от response.output_text.
Извличане на съдържание извън екрана
Визуален прозорец с височина 720 пиксела показва само част от страницата с резултати. Следователно трябва да опишете не само какво да се събере, но и как да се навигира в страницата и условието за спиране. В противен случай агентът ще превърта, докато вашите итерации свършат, връщайки съкратени данни.
task = """
On this search results page:
1. Read all visible results and note them
2. Scroll down to see more results
3. Continue until you have collected 20 results or reached
the bottom of the page
For each result, extract:
- Title
- URL
- Short description
Return everything in JSON.
"""
Таблиците са най-благоприятната територия, защото моделът веднага схваща визуалните таблични структури: той асоциира клетка с нейната колона чрез просто подравняване, докато екстракторът на DOM трябва да брои елементите <td> и се губи веднага щом клетка е обединена. Опишете очакваните колони и той ще попълни редовете.
task = """
Open https://stats.example.com/prices and extract the price table
displayed on the page.
The table has columns: Product, Price ex-VAT, VAT, Price inc-VAT.
Extract all rows and return in JSON:
{
"headers": ["Product", "Price ex-VAT", "VAT", "Price inc-VAT"],
"rows": [
["Widget A", "10.00", "20%", "12.00"],
...
]
}
"""
Хибриден подход: Навигация чрез визия, извличане чрез DOM
За чувствителни данни – суми, референтни номера на продукти – визуалното четене остава приблизително. Най-робастната комбинация разделя ролите според силните страни на всеки инструмент: агентът обработва частта, която е трудна за скриптиране, а именно достигането до правилната страница чрез търсения, филтри и диалогови прозорци за съгласие; след това Playwright поема там, където точността е от най-голямо значение, четейки стойностите директно от DOM.
def extract_with_dom(page, task_description: str):
"""Use Computer Use to navigate, Playwright to extract."""
# Phase 1: Computer Use navigates and identifies the area
run_agent(task_description, page=page)
# Phase 2: Playwright extracts precise data
data = page.evaluate("""
() => {
const rows = document.querySelectorAll('table tbody tr');
return Array.from(rows).map(row => {
const cells = row.querySelectorAll('td');
return Array.from(cells).map(c => c.textContent.trim());
});
}
""")
return data
Нестандартни структури
Карти с продукти, профили, списъци: тези оформления избягват редовните шаблони и точно тук визията поема водещата роля. Тогава подканата трябва да наименува всяко очаквано поле, да specify неговия тип и да предостави пълен пример за изход. В противен случай може да извлечете “€250,000” в един запис и 250000 в следващия, което ще накара последващата обработка да се провали още на първия ред.
task = """
On this real estate results page, extract for each listing:
- price (number, in euros)
- area (in m²)
- rooms (integer)
- city
- postal_code
- listing_url
Scroll to load more listings if necessary.
Stop when you have 10 listings or when there are no more.
Strict JSON output format:
{
"listings": [
{
"price": 250000,
"area": 65,
"rooms": 3,
"city": "Paris",
"postal_code": "75011",
"listing_url": "https://..."
}
]
}
"""
Запазване на проследимостта на извличането
Едно извличане без метаданни става неизползваемо след три седмици: вече не знаете откъде идват цифрите или кога са датирани, което прави сравнението със следващото събиране безсмислено. Систематично записвайте източника и времевия печат заедно с данните.
import json
from datetime import datetime, timezone
def save_extraction(data: dict, source_url: str):
"""Save extracted data with metadata."""
now = datetime.now(timezone.utc)
output = {
"source": source_url,
"extracted_at": now.isoformat(),
"data": data,
}
filename = f"extraction_{now:%Y%m%d_%H%M%S}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(output, f, ensure_ascii=False, indent=2)
print(f"Data saved to {filename}")
Какво няма да ви даде визията
Числовата точност е първото ограничение. Имплицитният OCR на модела може да обърка символи с подобна форма – 0 и O, 1 и l – което е без значение за заглавие на статия, но неприемливо за IBAN или референтен номер на поръчка: винаги проверявайте критичните данни или използвайте извличане чрез DOM за тези полета.
Разходите идват след това. Всеки скрийншот се брои като входно изображение, чиято цена зависи от неговия размер и модела – OpenAI предоставя калкулатор за оценка на това – а едно извличане с превъртане свързва много завъртания заедно. Тъй като цялата история на веригата се таксува отново като вход при всяка заявка, разходите за дълга колекция нарастват по-бързо от броя на скрийншотите. Следователно, всеки голям обем, който трябва да се събира ежедневно, заслужава измерване на няколко реални страници, преди да преминете към продукция. Времето следва същата логика: всяко завъртане чака отговор от модела, което е подходящо за обработка през нощта, но рядко за потребителски интерфейс, чакащ отговор.
Ключови изводи
- Computer Use е отличен за извличане на данни от визуално сложни страници
- Винаги искайте структуриран формат на изхода (JSON) в подканата
- Комбинирайте AI навигация с извличане на DOM чрез Playwright за по-висока надеждност
- Планирайте превъртане за дълги страници
- Проверете критичните числови данни, защото имплицитният OCR не е съвършен