Webes böngészés
Ezen az oldalon
A leckét 2026. november 3-án frissítettük az OpenAI Computer use útmutatója, annak Integration recipes (integrációs receptek) dokumentációja és a Responses API referenciája alapján: az utasításokat kötelező az
instructionsparaméteren keresztül megadni, és minden kérésnél újra elküldeni, mivel azokat aprevious_response_idnem örökíti tovább; atarget="_blank"attribútumot eltávolító szkript JavaScript szintaktikai hibát tartalmazott, és csak a már jelen lévő hivatkozásokat kezelte; a képre vonatkozó ajánlások most az OpenAI irányelveit követik (detail: "original", átméretezés koordináta-átalakítással). Források: Integration recipes · Computer use.
Túl az egyszerű kattintáson
Egy ügynök számára a böngészés nem csupán egy URL megnyitását jelenti. Hanem egy valós weben való navigálást, tele átirányításokkal, négy másodpercig renderelődő oldalakkal, mindent eltakaró hozzájárulási bannerekkel és olyan tartalmakkal, amelyek csak többszöri görgetés után válnak láthatóvá. Az az ügynök, amely figyelmen kívül hagyja ezeket a súrlódásokat, már a második oldalnál elbukik; míg az, amely előre látja őket, tíz képernyőt is átfogó utat képes végigjárni bármilyen beavatkozás nélkül.
Két módszer a célba érésre
Ha pontosan ismered a címet, ne kérd meg az AI-t, hogy megtalálja: küldd a böngészőt közvetlenül oda.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Ezzel szemben, ha a cím attól függ, ami éppen megjelenik – például egy ár szerint rendezett lista harmadik terméke, vagy egy dinamikusan generált „Számla megtekintése“ hivatkozás –, hagyd, hogy a modell lásson és kattintson.
# Az AI látja a képernyőképet, és dönt úgy, hogy rákattint egy hivatkozásra
# Ez automatikusan megtörténik a Computer Use ciklusban
A helyes megközelítés mindkettő kombinálása egyetlen munkafolyamatban: közvetlen navigáció az utad ismert mérföldköveinél, és vizuális navigáció minden útközben felfedezett elemnél. Ezzel megspórolod azokat a költséges iterációkat, amelyek nem adnak hozzá értéket.
A cookie-banner: az egyes számú akadály
Európában szinte minden oldal hozzájárulási bannert jelenít meg az első betöltéskor. Amíg ez jelen van, elnyeli a kattintásokat, és az ügynököd hiába pörög, nem értve, miért nem reagál az oldal. Ne találgass oldalonkénti megoldásokat: építsd be egyszer és mindenkorra az ügynök utasításaiba – a Responses API instructions paraméterébe, amely rendszer-promptként funkcionál –, egyértelmű direktívával arról, mit utasítson vissza.
INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""
# Ezt MINDEN kéréshez add hozzá a ciklusban: a previous_response_id használatakor
# az előző válaszból származó utasítások nem öröklődnek tovább.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
Az első két szabály sorrendje számít: az ügynök alapértelmezetten visszautasít, az elfogadás pedig a feladatot kiosztó személy döntése marad, nem a modellé. Jegyezd meg továbbá a kód megjegyzését is: a Responses API dokumentációja kimondja, hogy az egyik válaszból származó instructions nem öröklődik át a következőre, ha a láncolást previous_response_id-vel végzed. Egy olyan ciklus, amely csak az első körben küldi el őket, a másodiknál elveszíti azokat.
Háromféle várakozás
A modern oldalak aszinkron módon töltik be a tartalmat, és az ügynököd olyankor is kattinthat, amikor a gomb még meg sem jelent. A legmegbízhatóbb megoldás továbbra is a Playwright hálózati várakozása, amely akkor adja vissza az irányítást, ha az összes kérés befejeződött.
page.goto(url)
page.wait_for_load_state("networkidle")
# Minden hálózati kérés befejeződött
Ez nem mindenhol elegendő: egy olyan alkalmazásnál, amely tartós kapcsolatot维持 (fenntart) – websocket, polling, élő chat –, a hálózat sosem lesz tétlen, és a várakozás végül időtúllépés miatt megszakad. Ilyenkor térj át egy egyszerű késleltetésre a képernyőkép készítése előtt.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Várakozás, majd képernyőkép készítése."""
time.sleep(wait_seconds)
return page.screenshot()
Van egy harmadik, gyakran figyelmen kívül hagyott út is: bízd az ítélkezést magára a modellre. Az látja a pörgő ikont vagy a félig megjelenített tartalmat, és megérti, hogy jobb további képernyőképet kérni, mintsem vakon cselekedni.
task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading
(spinner visible, partial content),
wait for an additional screenshot before acting.
"""
Hosszú utak irányítása
Több oldalon átívelő sorozat esetén az egyetlen mondatban megfogalmazott feladat útközben szétesik: az ügynök a harmadik képernyőre már elfelejti az utasítások felét. Bontsd fel explicit lépésekre – a previous_response_id segítségével történő válaszláncolásnak köszönhetően a modell nyomon követi a már teljesített lépéseket, és mindig tisztában van azzal, hol tart.
task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""
A füleket nem az AI kezeli
A Computer Use csak egyetlen nézetre (viewport) képes működni. Ha egy hivatkozás új fülön nyílik meg, az ügynök továbbra is a régit fényképezi, és nem érti, miért nem történt változás – ez egy klasszikus helyzet a target="_blank" attribútummal rendelkező hivatkozásoknál, amelyek szinte minden híroldalon megtalálhatók. Ezt oldd meg upstream módon a Playwrightban, így a modellnek nem kell emiatt aggódnia.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""A navigációt abban a fülben tartja, amelyet az ügynök fényképez."""
# Minden betöltött oldalon a target="_blank" hivatkozásra való kattintás
# az aktuális fülön nyílik meg...
context.add_init_script(REMOVE_BLANK)
# ... és minden szkript által megnyitott ablak azonnal bezáródik
page.on("popup", lambda popup: popup.close())
Az inicializáló szkript minden oldalon lefut, még az oldal saját szkriptjei előtt: a rögzítési fázisban beállított figyelő eltávolítja a target attribútumot, mielőtt a böngésző követné a hivatkozást. Az oldal popup eseménye pedig lefedi a maradékot: a window.open által megnyitott ablakokat.
A képmínőség mindent meghatároz
Egy elmosódott vagy levágott képernyőkép olyan ügynököt eredményez, amely rossz gombra kattint, és több időt töltesz majd a hibáinak debuggolásával, mint magának a képernyőképnek a javításával. A látható nézetet (viewport) rögzítsd, ne a teljes oldalt: a full_page rögzítés túlméretezett képet eredményez, ami még rosszabb, hogy a koordinátái nem egyeznek meg azzal a képernyővel, ahol a page.mouse kattint.
import base64
def optimized_screenshot(page) -> str:
"""Látható nézet rögzítése PNG formátumban, base64 kódolással."""
screenshot = page.screenshot(
type="png",
full_page=False, # Csak a látható nézet
)
return base64.b664encode(screenshot).decode("utf-8")
Az API oldalán az OpenAI azt ajánlja, hogy a rögzítéseket detail: "original" paraméterrel küldd el, ami megőrzi a felbontást és javítja a kattintás pontosságát, valamint tanácsolja a high és low értékek kerülését a Computer Use esetén. Egy nagy méretű rögzítés több tokent fogyaszt, és az API átméretezheti, sőt, el is utasíthatja, ha túllépi a korlátokat. Ha mégis csökkentened kell a rögzítéseket, tedd azt elküldés előtt, és alakítsd át a modell koordinátáit az eredeti képtérbe; az OpenAI jó eredményekről számol be 1440×900 és 1600×900 felbontású asztali környezetek esetén. Az ebben a tanfolyamban használt 1280×720 nézetnek nincs szüksége csökkentésre.
Főbb megállapítások
- Kombináld a közvetlen navigációt (ismert URL-ek) és a vizuális navigációt (dinamikus hivatkozások) a kontextus függvényében
- Kezeld a GDPR felugró ablakokat az ügynök
instructionsrészében, amelyet minden kérésnél újra el kell küldeni - Várd meg a teljes betöltődést a képernyőkép készítése előtt
- A látható nézetet rögzítsd, és
detail: "original"paraméterrel küldd el; ha átméretezed a képet, konvertáld a koordinátákat is - Az új füleket a Playwrightban kezeld, ne az AI-ban