Сърфиране в уеб
На тази страница
Урокът е актуализиран на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Computer use, неговите Integration recipes и справочника за Responses API: инструкциите трябва да се предават чрез параметъра
instructionsи да се изпращат отново с всяка заявка, тъй като те не се прехвърлят автоматично чрезprevious_response_id; скриптът, който премахвашеtarget="_blank", съдържаше синтактична грешка в JavaScript и обхващаше само вече наличните връзки; препоръките за изображения сега следват насоките на OpenAI (detail: "original", преоразмеряване с конвертиране на координатите). Източници: Integration recipes · Computer use.
Отвъд простото кликване
За един агент сърфирането не е просто отваряне на URL адрес. То представлява навигация в реалния уеб, изпълнен с пренасочвания, страници, които се рендерират за четири секунди, банери за съгласие, които покриват всичко, и съдържание, което се появява едва след многократно превъртане. Агент, който игнорира тези затруднения, се проваля още на втората страница; такъв, който ги предвижда, свързва десет екрана в едно пътуване без никаква намеса.
Два начина да стигнете до целта
Когато знаете точния адрес, не карайте изкуствения интелект да го търси: изпратете браузъра там директно.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Обратно, когато адресът зависи от това, което се показва на екрана – третият продукт в списък, сортиран по цена, или динамично генерирана връзка „Преглед на фактура“ – оставете модела да види и да кликне.
# AI вижда екранната снимка и решава да кликне върху връзка
# Това се случва автоматично в цикъла на Computer Use
Правилният подход е да комбинирате двете в един работен поток: директна навигация за известни етапи от вашето пътуване и визуална навигация за всичко, открито по пътя. Това ви спестява скъпи итерации, които не носят стойност.
Банерът за бисквитки: Препятствие номер едно
В Европа почти всеки сайт показва банер за съгласие при първото зареждане. Докато той присъства, той прихваща кликванията и вашият агент се върти на празно, без да разбира защо страницата не реагира. Не импровизирайте решение за всеки сайт поотделно: вградете го веднъж завинаги в инструкциите на агента – параметъра instructions на Responses API, който действа като системен промпт – с ясна директива какво да се отказва.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Предавайте това на ВСЯКА заявка в цикъла: при използване на previous_response_id,
# инструкциите от предишния отговор не се прехвърлят автоматично.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Редът на първите две правила има значение: агентът отказва по подразбиране, а приемането остава решение на човека, възлагащ задачата, а не на модела. Освен това обърнете внимание на коментара в кода: документацията на Responses API посочва, че instructions от един отговор не се прехвърлят към следващия при верижно свързване чрез previous_response_id. Цикъл, който ги изпраща само при първия ход, ги губи при втория.
Три начина за изчакване
Съвременните страници зареждат съдържание асинхронно и вашият агент може да кликне там, където бутонът все още не се е появил. Най-надеждното решение остава мрежовото изчакване на Playwright, което връща контрола, след като всички заявки приключат.
page.goto(url)
page.wait_for_load_state("networkidle")
# Всички мрежови заявки са завършени
Това не е достатъчно навсякъде: в приложение, което поддържа постоянна връзка – websocket, polling, live chat – мрежата никога не е в покой и изчакването в крайна сметка изтича. В такъв случай преминете към просто забавяне преди заснемането.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Изчакай, след това направи екранна снимка."""
time.sleep(wait_seconds)
return page.screenshot()
Има и трети, често пренебрегван път: възложете преценката на самия модел. Той вижда въртящия се индикатор или частично рендерираното съдържание и разбира, че е по-добре да поиска допълнителна екранна снимка, отколкото да действа на сляпо.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Насочване на дълго пътуване
При поредица от няколко страници задача, формулирана в едно изречение, се разпада по пътя: агентът забравя половината инструкции до третия екран. Разбийте я на ясни стъпки – благодарение на верижното свързване на отговорите чрез previous_response_id, моделът следи кои стъпки вече са изпълнени и винаги знае къде се намира.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Разделите не се управляват от изкуствения интелект
Computer Use работи само с един изглед (viewport). Ако връзка се отвори в нов раздел, агентът продължава да снима стария и не разбира защо нищо не се е променило – класическа ситуация при връзки с target="_blank", срещани в почти всеки новинарски сайт. Решете това предварително в Playwright, за да не се налага моделът да се притеснява за него.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Задръж навигацията в раздела, който агентът снима."""
# При всяка заредена страница кликване върху връзка с target="_blank"
# я отваря в текущия раздел...
context.add_init_script(REMOVE_BLANK)
# ... а всеки прозорец, отворен чрез скрипт, се затваря незабавно
page.on("popup", lambda popup: popup.close())
Инициализиращият скрипт се изпълнява във всяка страница преди собствените ѝ скриптове: слушателят, зададен по време на фазата на заснемане, премахва атрибута target, преди браузърът да последва връзката. Събитието popup на страницата покрива останалото: прозорци, отворени чрез window.open.
Качеството на изображението определя всичко останало
Замъглена или изрязана екранна снимка води до агент, който кликва грешния бутон, и ще отделите повече време за отстраняване на грешките му, отколкото за коригиране на самата снимка. Заснемайте видимия изглед (viewport), а не цялата страница: заснемане на full_page произвежда твърде голямо изображение и, което е по-лошо, неговите координати вече не съвпадат с екрана, където page.mouse извършва кликванията.
import base64
def optimized_screenshot(page) -> str:
"""Заснеми видимия изглед като PNG, в base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Само видимият изглед
)
return base64.b64encode(screenshot).decode("utf-8")
От страна на API, OpenAI препоръчва изпращането на заснеманията с detail: "original", което запазва резолюцията и подобрява точността на кликването, и съветва срещу използването на high и low за Computer Use. Голямо изображение консумира повече токени и API може да го преоразмери или дори да го отхвърли, ако надвишава лимитите. Ако трябва да намалите размерите на заснеманията си, направете го преди изпращането и конвертирайте координатите на модела обратно в пространството на оригиналното изображение; OpenAI докладва добри резултати с десктоп резолюции 1440×900 и 1600×900. Изгледът 1280×720, използван в този курс, не се нуждае от намаляване.
Ключови изводи
- Комбинирайте директна навигация (известни URL адреси) и визуална навигация (динамични връзки) според контекста
- Обработвайте GDPR изскачащите прозорци в
instructionsна агента, изпращани отново с всяка заявка - Изчакайте пълното зареждане, преди да заснемете екранна снимка
- Заснемайте видимия изглед и го изпращайте с
detail: "original"; ако преоразмерявате изображението, конвертирайте координатите - Обработвайте новите раздели в Playwright, а не в изкуствения интелект