Prehliadanie webu
Na tejto strane
Lekcia aktualizovaná 3. novembra 2026 na základe príručky Computer use od OpenAI, jej Receptov na integráciu a referencie API Responses: pokyny sa musia odovzdávať cez parameter
instructionsa posielať s každou požiadavkou, pretože sa neprenášajú prostredníctvomprevious_response_id; skript, ktorý odstraňovaltarget="_blank", obsahoval chybu v syntaxi JavaScriptu a pokrýval iba už prítomné odkazy; odporúčania pre obrázky teraz nasledujú usmernenia OpenAI (detail: "original", zmena veľkosti s konverziou súradníc). Zdroje: Recepty na integráciu · Computer use.
Viac než jednoduché kliknutie
Pre agenta nie je prehliadanie len otvorením URL adresy. Je to navigácia v reálnom webe plnom presmerovaní, stránok, ktorých vykreslenie trvá štyri sekundy, bannerov so súhlasom, ktoré zakrývajú všetko, a obsahu, ktorý sa objaví až po viacnásobnom posúvaní. Agent, ktorý ignoruje tieto trenia, zlyhá už na druhej stránke; ten, ktorý ich predvída, prepojí desať obrazoviek do jednej cesty bez akéhokoľvek zásahu.
Dva spôsoby, ako sa niekam dostať
Keď poznáš presnú adresu, nepýtaj sa AI, aby ju našla: pošli prehliadač priamo tam.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Naopak, keď adresa závisí od toho, čo je zobrazené – tretí produkt v zozname zoradenom podľa ceny, dynamicky generovaný odkaz „Zobraziť faktúru“ – nechaj model pozrieť sa a kliknúť.
# AI vidí snímku obrazovky a rozhodne sa kliknúť na odkaz
# K tomu dochádza automaticky v slučke Computer Use
Správny prístup spočíva v kombinácii oboch metód v jednom pracovnom postupe: priama navigácia pre známe míľniky tvojej cesty a vizuálna navigácia pre všetko, čo objavíš cestou. Ušetríš tak nákladné iterácie, ktoré neprinášajú žiadnu hodnotu.
Banner so súbormi cookie: prekážka číslo jedna
V Európe sa takmer na každej stránke pri prvom načítaní zobrazí banner so súhlasom. Pokiaľ je prítomný, zachytáva kliknutia a tvoj agent sa točí dookola bez toho, aby chápal, prečo stránka nereaguje. Nevymýšľaj opravu pre každú stránku zvlášť: zakóduj ju raz a navždy do pokynov agenta – parameter instructions v API Responses, ktorý funguje ako systémový prompt – s jasným príkazom, čo odmietnuť.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Odovzdaj toto KAŽDEJ požiadavke v slučke: pri použití previous_response_id
# sa pokyny z predchádzajúcej odpovede neprenášajú ďalej.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Poradie prvých dvoch pravidiel je dôležité: agent predvolene odmieta a prijatie zostáva rozhodnutím osoby, ktorá zadáva úlohu, nie modelu. Všimni si aj komentár v kóde: dokumentácia API Responses uvádza, že instructions z jednej odpovede sa neprenášajú do ďalšej pri reťazení cez previous_response_id. Slučka, ktorá ich posiela len v prvom kole, ich v druhom stratí.
Tri spôsoby čakania
Moderné stránky načítavajú obsah asynchrónne a tvoj agent môže kliknúť tam, kde tlačidlo ešte nedorazilo. Najspoľahlivejšou opravou zostáva čakanie na sieť v Playwrighte, ktoré vráti kontrolu späť, keď sa skončia všetky požiadavky.
page.goto(url)
page.wait_for_load_state("networkidle")
# Všetky sieťové požiadavky sú dokončené
Toto však všade nestačí: v aplikácii, ktorá udržiava trvalé pripojenie – websocket, polling, live chat – sieť nikdy nie je nečinná a čakanie nakoniec vyprší. V takom prípade sa uchýľ k jednoduchému oneskoreniu pred zachytením snímky.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Počkaj a potom zachyť snímku obrazovky."""
time.sleep(wait_seconds)
return page.screenshot()
Existuje aj tretia, často prehliadaná cesta: zver rozhodovanie samotnému modelu. Ten vidí indikátor načítania alebo čiastočne vykreslený obsah a pochopí, že je lepšie požiadať o ďalšiu snímku obrazovky, než konať naslepo.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Navigácia dlhou cestou
Pri sekvencii niekoľkých stránok sa úloha formulovaná v jednej vete cestou rozpadne: agent do tretej obrazovky zabudne polovicu pokynov. Rozdeľ ju na explicitné kroky – vďaka reťazeniu odpovedí cez previous_response_id si model pamätá tie, ktoré už dokončil, a vždy vie, kde sa nachádza.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
Záložky AI nespravuje
Computer Use funguje iba na jednom viewporte. Ak sa odkaz otvorí v novej záložke, agent pokračuje vo fotení tej starej a nechápe, prečo sa nič nezmenilo – klasická situácia pri odkazoch s target="_blank", ktoré nájdeš takmer na každom spravodajskom webe. Oprav to upstream v Playwrighte, aby sa model nemusel týmto zaoberať.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Udrž navigáciu v záložke, ktorú agent fotografuje."""
# Na každej načítanej stránke kliknutie na odkaz target="_blank"
# otvorí tento odkaz v aktuálnej záložke...
context.add_init_script(REMOVE_BLANK)
# ... a akékoľvek okno otvorené skriptom sa okamžite zavrie
page.on("popup", lambda popup: popup.close())
Inicializačný skript sa spustí na každej stránke pred jej vlastnými skriptmi: listener, nastavený počas fázy zachytávania, odstráni atribút target skôr, než prehliadač nasleduje odkaz. Udalosť popup stránky pokrýva zvyšok: okná otvorené príkazom window.open.
Kvalita obrázka určuje všetko ostatné
Rozmazaná alebo orezaná snímka obrazovky vytvorí agenta, ktorý kliká na zlé tlačidlá, a ty stráviš viac času ladením jeho chýb než opravou snímky. Zachyť viditeľný viewport, nie celú stránku: zachytenie full_page vytvorí príliš veľký obrázok a čo je horšie, jeho súradnice už nezodpovedajú obrazovke, kde page.mouse kliká.
import base64
def optimized_screenshot(page) -> str:
"""Zachyť viditeľný viewport ako PNG v base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Iba viditeľný viewport
)
return base64.b64encode(screenshot).decode("utf-8")
Na strane API OpenAI odporúča odosielať snímky s nastavením detail: "original", čo zachováva rozlíšenie a zlepšuje presnosť kliknutí, a neodporúča hodnoty high a low pre Computer Use. Veľká snímka spotrebuje viac tokenov a API ju môže zmenšiť, alebo ju dokonca odmietnuť, ak prekročí limity. Ak musíš svoje snímky zmenšiť, urob to pred odoslaním a preveď súradnice modelu späť do priestoru pôvodného obrázka; OpenAI hlási dobré výsledky pri desktopoch s rozlíšením 1440×900 a 1600×900. Viewport 1280×720 používaný v tomto kurze nemusíš zmenšovať.
Kľúčové poznatky
- Kombinuj priamu navigáciu (známe URL) a vizuálnu navigáciu (dynamické odkazy) podľa kontextu
- Spravuj vyskakovacie okná GDPR v
instructionsagenta, ktoré sa odosielajú s každou požiadavkou - Počkaj na úplné načítanie pred zachytením snímky obrazovky
- Zachyť viditeľný viewport a odošli ho s
detail: "original"; ak zmeníš veľkosť obrázka, preveď súradnice - Spravuj nové záložky v Playwrighte, nie v AI