In-Navigazzjoni fuq il-Web
F'din il-paġna
Lezzjoni aġġornata fit-3 ta’ Novembru 2026 ibbażata fuq il-gwida Computer use ta’ OpenAI, ir-riċetti ta’ integrazzjoni tagħha, u r-referenza tal-API tar-Risposti: l-istruzzjonijiet iridu jgħaddu permezz tal-parametru
instructionsu jintbagħtu mill-ġdid ma’ kull talba, peress li ma jinġarrux minnprevious_response_id; l-iskritt li neħħatarget="_blank"kien fih żball fis-sintassi ta’ JavaScript u kopra biss links diġà preżenti; ir-rakkomandazzjonijiet tal-immaġni issa jsegwu l-linji gwida ta’ OpenAI (detail: "original", tibdil fid-daqs b’konverżjoni tal-koordinati). Sorsi: Riċetti ta’ integrazzjoni · Użu tal-kompjuter.
Lil Hinn mill-Klikk Sempliċi
Għal aġent, in-navigazzjoni fuq il-web mhix sempliċiment tiftaħ URL. Hija n-navigazzjoni f’web reali mimli bid-devjazzjonijiet, paġni li jieħdu erba’ sekondi biex jirrendu, banners tal-kunsens li jkopru kollox, u kontenut li jidher biss wara diversi skrolljar. Aġent li jinjora dawn il-frizzjonijiet ifalli fit-tieni paġna; wieħed li jantiċipahom jgħaqqad flimkien vjaġġ ta’ għaxar skrin mingħajr l-ebda intervent.
Żewġ Modi biex Tasal f’Post
Meta tkun taf l-indirizz eżatt, titlobx lill-AI biex isibu: ibgħat il-browser hemmhekk direttament.
page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")
Bil-kuntrarju, meta l-indirizz jiddependi fuq dak li jintwera—it-tielet prodott f’lista ordnata skont il-prezz, link “Ara l-Fattura” iġġenerat dinamikament—ħalli l-mudell iħares u jikklikkja.
# L-AI tara s-screenshot u tiddeċiedi li tikklikkja link
# Dan iseħħ awtomatikament fil-lukku tal-Użu tal-Kompjuter
L-approċċ it-tajjeb huwa li tgħaqqad it-tnejn f’fluss ta’ ħidma wieħed: navigazzjoni diretta għal punti ta’ riferiment magħrufa fil-vjaġġ tiegħek, u navigazzjoni viżiva għal kull ma jinstab matul it-triq. Dan iffrankalek iterazzjonijiet għoljin fejn ma jżidux valur.
Il-Banner tal-Cookie: L-Ostaklu Numru Wieħed
Fl-Ewropa, kważi kull sit juri banner tal-kunsens fl-ewwel tagħbija. Sakemm ikun preżenti, jaqbad il-klikks, u l-aġent tiegħek idur bla waqfien mingħajr ma jifhem għaliex il-paġna ma tirreaġixxix. Tinventax soluzzjoni sit b’sit: ħabbilha darba għal dejjem fl-istruzzjonijiet tal-aġent—il-parametru instructions tal-API tar-Risposti, li jaġixxi bħala s-sistema prompt—b’direttiva ċara dwar x’għandek tirrifjuta.
INSTRUCTIONS = """Inti aġent li jinnaviga l-web.
Regoli:
- Jekk tara banner tal-cookie jew tal-kunsens,
irrifjuta l-cookies opzjonali jew ikklikkja "Rifjuta" / "Reject"
- Jekk jingħata biss "Aċċetta", aċċetta biss jekk il-kompitu jippermettih;
inkella, waqqaf u rrapporta
- Titlefx ħin fuq pop-ups: immaniġġjahom immedjatament
"""
# Għaddi dan lil KULL talba fil-lukku: b'previous_response_id,
# l-istruzzjonijiet mir-risposta preċedenti ma jinġarrux.
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
instructions=INSTRUCTIONS,
input=tache,
)
L-ordni tal-ewwel żewġ regoli hija importanti: l-aġent jirrifjuta b’mod awtomatiku, u l-aċċettazzjoni tibqa’ deċiżjoni għall-persuna li tqassam il-kompitu, mhux għall-mudell. Barra minn hekk, innota l-kumment tal-kodiċi: id-dokumentazzjoni tal-API tar-Risposti tiddikjara li l-instructions minn risposta waħda ma jinġarrux għall-oħra meta ssir katina permezz ta’ previous_response_id. Lukku li jibgħathom biss fl-ewwel dawra jitilifhom fit-tieni.
Tliet Modi biex Tistenna
Il-paġni moderni jħammru l-kontenut b’mod asinkronu, u l-aġent tiegħek jista’ jikklikkja fejn buttuna għadha ma waslitx. L-aktar soluzzjoni affidabbli tibqa’ l-istennija tan-network ta’ Playwright, li terġa’ tagħti l-kontroll ladarba jintemmu t-talbiet kollha.
page.goto(url)
page.wait_for_load_state("networkidle")
# It-talbiet kollha tan-network huma kompluti
Dan mhuwiex biżżejjed kullimkien: fuq app li żżomm konnessjoni persistenti—websocket, polling, chat live—in-network qatt ma jkun idle, u l-istennija eventwalment tispiċċa bil-ħin (timeout). Mur lura għal dewmien sempliċi qabel ma taqbad l-immaġni.
import time
def wait_and_screenshot(page, wait_seconds=2):
"""Stenna, imbagħad aqbad screenshot."""
time.sleep(wait_seconds)
return page.screenshot()
Hemm it-tielet triq, spiss injorata: fda’ l-ġudizzju lill-mudell innifsu. Huwa jara s-spinner jew il-kontenut nofsu rrendut u jifhem li huwa aħjar li jitlob screenshot addizzjonali milli jaġixxi blindament.
task = """
Mur fuq https://example.com/dashboard.
Jekk il-paġna tidher li għadha qed titħalla
(spinner viżibbli, kontenut parzjali),
istenna għal screenshot addizzjonali qabel ma taġixxi.
"""
Gwida ta’ Vjaġġ Twil
Fuq sekwenza ta’ diversi paġni, kompitu fformulat f’sentenza waħda jifred matul it-triq: l-aġent jinsa nofs l-istruzzjonijiet sal-it-tielet skrin. Aqsamha f’passi espliċiti—grazzji għall-katina tar-risposti permezz ta’ previous_response_id, il-mudell iżomm traċċa ta’ dawk li diġà kkompleta u dejjem ikun jaf fejn qiegħed.
task = """
Pass 1: Mur fuq https://shop.example.com
Pass 2: Fittex "mechanical keyboard" fil-bar tat-tiftix
Pass 3: Ordna r-riżultati skont il-prezz minn isfel għal fuq
Pass 4: Iftaħ l-ewwel prodott
Pass 5: Innota l-prezz u d-disponibbiltà
"""
It-Tab Mhumiex Immaniġġjati mill-AI
L-Użu tal-Kompjuter jaħdem fuq viewport wieħed biss. Jekk link tiftaħ f’tab ġdid, l-aġent ikompli jieħu ritratti tal-qadim u ma jifhimx għaliex xejn ma nbidel—sitwazzjoni klassika ma’ links target="_blank", misjuba f’kważi kull sit tal-aħbarijiet. Issolvi dan ‘il quddiem f’Playwright, sabiex il-mudell ma jkollux għalfejn jinkwieta dwaru.
REMOVE_BLANK = """
document.addEventListener("click", (e) => {
const link = e.target.closest && e.target.closest('a[target="_blank"]');
if (link) link.removeAttribute("target");
}, true);
"""
def handle_new_tab(context, page):
"""Żomm in-navigazzjoni fit-tab li l-aġent qed jiffotografja."""
# Fuq kull paġna mħammra, klikk fuq link target="_blank"
# jiftaħha fit-tab attwali...
context.add_init_script(REMOVE_BLANK)
# ... u kull tieqa miftuħa bl-iskritt tingħalaq immedjatament
page.on("popup", lambda popup: popup.close())
L-iskritt ta’ inizjalizzazzjoni jimxi f’kull paġna qabel l-iskritti tagħha stess: is-sensur, stabbilit waqt il-fażi tal-qbid, ineħħi l-attribut target qabel ma l-browser isegwi l-link. L-avveniment popup tal-paġna jkopri dak li jifdal: twieqi miftuħa minn window.open.
Il-Kwalità tal-Immaġni Tikkundizzjona Kollox
Screenshot imċajpar jew maqtugħ jipproduċi aġent li jikklikkja l-buttuna ħażina, u se tonfoq aktar ħin tiddibuggja l-iżbalji tiegħu milli tissewwa s-screenshot. Aqbad il-viewport viżibbli minflok il-paġna sħiħa: qbid full_page jipproduċi immaġni kbira wisq, u agħar minn hekk, il-koordinati tiegħu ma jaqblux mal-iskrin fejn page.mouse jikklikkja.
import base64
def optimized_screenshot(page) -> str:
"""Aqbad il-viewport viżibbli bħala PNG, f'base64."""
screenshot = page.screenshot(
type="png",
full_page=False, # Il-viewport viżibbli biss
)
return base64.b64encode(screenshot).decode("utf-8")
Fuq in-naħa tal-API, OpenAI tirrakkomanda li tibgħat il-qbidiet b’detail: "original", li jippreserva r-riżoluzzjoni u jtejjeb il-preċiżjoni tal-klikk, u tiskoraġġixxi high u low għall-Użu tal-Kompjuter. Qbid kbir jikkonsma aktar tokens, u l-API tista’ tbiddel id-daqs tiegħu, jew saħansitra tirrifjutah jekk jaqbeż il-limiti. Jekk trid tonqos il-qbidiet tiegħek, agħmel dan qabel ma tibgħat u kkonverti l-koordinati tal-mudell fl-ispazju tal-immaġni oriġinali; OpenAI tirrapporta riżultati tajbin b’desktops f’1440×900 u 1600×900. Il-viewport ta’ 1280×720 użat f’dan il-kors ma jeħtiġx tnaqqis.
Punti Ewlenin
- Għaqqad in-navigazzjoni diretta (URLs magħrufa) u n-navigazzjoni viżiva (links dinamiċi) skont il-kuntest
- Immaniġġja l-pop-ups tal-GDPR fl-
instructionstal-aġent, mibgħuta mill-ġdid ma’ kull talba - Stenna għat-tagħbija sħiħa qabel ma taqbad screenshot
- Aqbad il-viewport viżibbli u ibgħatu b’
detail: "original"; jekk tbiddel id-daqs tal-immaġni, ikkonverti l-koordinati - Immaniġġja tabs ġodda f’Playwright, mhux fl-AI