Przeglądanie internetu
Na tej stronie
Lekcja zaktualizowana 3 listopada 2026 r. na podstawie przewodnika Computer use od OpenAI, jego Przepisów integracyjnych (Integration recipes) oraz dokumentacji API Responses: instrukcje muszą być przekazywane przez parametr
instructionsi wysyłane z każdym żądaniem, ponieważ nie są przenoszone przezprevious_response_id; skrypt usuwającytarget="_blank"zawierał błąd składni JavaScript i obejmował tylko linki już obecne; zalecenia dotyczące obrazów są teraz zgodne z wytycznymi OpenAI (detail: "original", zmiana rozmiaru z konwersją współrzędnych). Źródła: Przepisy integracyjne · Computer use.
Więcej niż zwykłe kliknięcie
Dla agenta przeglądanie internetu to nie tylko otwarcie adresu URL. To nawigacja po rzeczywistym sieci pełnej przekierowań, stron ładujących się przez cztery sekundy, banerów zgody zasłaniających wszystko oraz treści pojawiających się dopiero po wielokrotnym przewijaniu. Agent ignorujący te trudności polegnie już na drugiej stronie; ten, który je przewiduje, przebędzie bez żadnej interwencji ścieżkę składającą się z dziesięciu ekranów.
Dwa sposoby na dotarcie do celu
Gdy znasz dokładny adres, nie każ AI go szukać: wyślij przeglądarkę tam bezpośrednio.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Z drugiej strony, gdy adres zależy od tego, co jest wyświetlane – trzeci produkt na liście posortowanej cenowo, dynamicznie generowany link „Zobacz fakturę“ – pozwól modelowi spojrzeć i kliknąć.
# AI widzi zrzut ekranu i decyduje się kliknąć link
# Dzieje się to automatycznie w pętli Computer Use
Właściwym podejściem jest połączenie obu metod w jednym przepływie pracy: bezpośrednia nawigacja dla znanych punktów kontrolnych twojej podróży oraz nawigacja wizualna dla wszystkiego, co odkryjesz po drodze. Oszczędza to kosztowne iteracje, które nie wnoszą żadnej wartości.
Baner cookie: przeszkoda numer jeden
W Europie niemal każda strona wyświetla baner zgody przy pierwszym ładowaniu. Dopóki jest obecny, przechwytuje kliknięcia, a twój agent kręci się w kółko, nie rozumiejąc, dlaczego strona nie reaguje. Nie improwizuj napraw dla każdej strony z osobna: wbuduj to rozwiązanie raz na zawsze w instrukcje agenta – parametr instructions API Responses, który działa jak monit systemowy – z jasną dyrektywą, czego należy odmówić.
INSTRUCTIONS = """Jesteś agentem przeglądającym sieć.
Zasady:
- Jeśli widzisz baner cookie lub zgody,
odmów opcjonalnych plików cookie lub kliknij „Odmów“ / „Reject“
- Jeśli oferowane jest tylko „Akceptuj“, zaakceptuj tylko wtedy, gdy zadanie na to pozwala;
w przeciwnym razie zatrzymaj się i zgłoś to
- Nie trać czasu na wyskakujące okienka: obsługuj je natychmiast
"""
# Przekaż to do KAŻDEGO żądania w pętli: przy użyciu previous_response_id
# instrukcje z poprzedniej odpowiedzi nie są przenoszone.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Kolejność pierwszych dwóch reguł ma znaczenie: agent domyślnie odmawia, a akceptacja pozostaje decyzją osoby przydzielającej zadanie, a nie modelu. Zwróć też uwagę na komentarz w kodzie: dokumentacja API Responses stwierdza, że instructions z jednej odpowiedzi nie są przenoszone do następnej podczas chainowania przez previous_response_id. Pętla wysyłająca je tylko w pierwszej turze straci je w drugiej.
Trzy sposoby oczekiwania
Nowoczesne strony ładują treści asynchronicznie, a twój agent może kliknąć tam, gdzie przycisk jeszcze się nie pojawił. Najbardziej niezawodnym rozwiązaniem pozostaje oczekiwanie sieciowe Playwright, które zwraca kontrolę po zakończeniu wszystkich żądań.
page.goto(url)
page.wait_for_load_state("networkidle")
# Wszystkie żądania sieciowe są zakończone
To nie wystarczy wszędzie: w aplikacji utrzymującej trwałe połączenie – websocket, odpytywanie (polling), czat na żywo – sieć nigdy nie jest bezczynna, a oczekiwanie w końcu kończy się przekroczeniem limitu czasu. Wtedy wróć do prostego opóźnienia przed wykonaniem przechwycenia.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Poczekaj, a następnie wykonaj zrzut ekranu."""
time.sleep(wait_seconds)
return page.screenshot()
Istnieje trzecia, często pomijana ścieżka: powierzenie osądu samemu modelowi. Widzi on spinner lub częściowo załadowaną treść i rozumie, że lepiej poprosić o dodatkowy zrzut ekranu niż działać w ciemno.
task = """
Przejdź do https://example.com/dashboard.
Jeśli strona nadal wydaje się ładować
(widoczny spinner, częściowa treść),
poczekaj na dodatkowy zrzut ekranu przed podjęciem działania.
"""
Prowadzenie długiej podróży
W sekwencji kilku stron zadanie sformułowane w jednym zdaniu rozpada się po drodze: agent zapomina połowy instrukcji już na trzecim ekranie. Rozbij je na wyraźne kroki – dzięki chainowaniu odpowiedzi przez previous_response_id model pamięta te, które już ukończył, i zawsze wie, na jakim etapie się znajduje.
task = """
Krok 1: Przejdź do https://shop.example.com
Krok 2: Wyszukaj „mechanical keyboard“ w pasku wyszukiwania
Krok 3: Posortuj wyniki rosnąco według ceny
Krok 4: Otwórz pierwszy produkt
Krok 5: Zanotuj cenę i dostępność
"""
Karty nie są zarządzane przez AI
Computer Use działa tylko na jednym obszarze roboczym (viewport). Jeśli link otwiera się w nowej karcie, agent nadal fotografuje starą i nie rozumie, dlaczego nic się nie zmieniło – klasyczna sytuacja z linkami target="_blank", spotykanymi na prawie każdej stronie informacyjnej. Napraw to wcześniej w Playwright, aby model nie musiał się tym martwić.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Utrzymaj nawigację w karcie, którą fotografuje agent."""
# Na każdej załadowanej stronie kliknięcie linku target="_blank"
# otwiera go w bieżącej karcie...
context.add_init_script(REMOVE_BLANK)
# ... a każde okno otwarte przez skrypt jest natychmiast zamykane
page.on("popup", lambda popup: popup.close())
Skrypt inicjalizacyjny uruchamia się na każdej stronie przed jej własnymi skryptami: nasłuchiwanie, ustawione podczas fazy przechwycenia, usuwa atrybut target zanim przeglądarka podąży za linkiem. Zdarzenie popup strony obejmuje to, co pozostało: okna otwarte przez window.open.
Jakość obrazu warunkuje wszystko inne
Rozmyty lub przycięty zrzut ekranu powoduje, że agent klika niewłaściwy przycisk, a ty spędzisz więcej czasu na debugowaniu jego błędów niż na naprawianiu samego zrzutu. Przechwytuj widoczny obszar roboczy, a nie całą stronę: przechwycenie full_page tworzy obraz o zbyt dużym rozmiarze, co gorsza, jego współrzędne nie pasują już do ekranu, na którym page.mouse wykonuje kliknięcia.
import base64
def optimized_screenshot(page) -> str:
"""Przechwyć widoczny viewport jako PNG, w formacie base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Tylko widoczny viewport
)
return base64.b64encode(screenshot).decode("utf-8")
Po stronie API OpenAI zaleca wysyłanie przechwyceń z parametrem detail: "original", co zachowuje rozdzielczość i poprawia precyzję kliknięć, odradzając jednocześnie użycie high i low dla Computer Use. Duże przechwycenie zużywa więcej tokenów, a API może zmienić jego rozmiar, a nawet odrzucić je, jeśli przekroczy limity. Jeśli musisz zmniejszyć swoje przechwycenia, zrób to przed wysłaniem i przekonwertuj współrzędne modelu do przestrzeni oryginalnego obrazu; OpenAI raportuje dobre wyniki dla komputerów stacjonarnych o rozdzielczościach 1440×900 i 1600×900. Viewport 1280×720 używany w tym kursie nie wymaga zmniejszania.
Kluczowe wnioski
- Łącz nawigację bezpośrednią (znane adresy URL) i nawigację wizualną (dynamiczne linki) w zależności od kontekstu
- Obsługuj wyskakujące okienka RODO w
instructionsagenta, wysyłanych z każdym żądaniem - Poczekaj na pełne załadowanie przed wykonaniem zrzutu ekranu
- Przechwytuj widoczny viewport i wysyłaj go z
detail: "original"; jeśli zmieniasz rozmiar obrazu, przekonwertuj współrzędne - Obsługuj nowe karty w Playwright, a nie w AI