Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Pārlūkošana tīmeklī

Nodarbība 5 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Vairāk nekā vienkāršs klikšķis
  2. Divi veidi, kā nokļūt galamērķī
  3. Sīkdatņu banners: šķērslis numur viens
  4. Trīs gaidīšanas veidi
  5. Garā ceļojuma vadīšana
  6. Cilnes AI nepārvalda
  7. Attēla kvalitāte nosaka visu pārējo
  8. Galvenās atziņas

Nodarbība atjaunināta 2026. gada 3. novembrī, pamatojoties uz OpenAI Computer use rokasgrāmatu, tās Integrācijas receptēm un Responses API atsauces dokumentāciju: norādījumi ir jāpadod, izmantojot parametru instructions un jānosūta ar katru pieprasījumu, jo tie netiek pārnesti, izmantojot previous_response_id; skripts, kas dzēsa target="_blank", saturēja JavaScript sintakses kļūdu un aptvēra tikai jau esošās saites; attēlu ieteikumi tagad atbilst OpenAI vadlīnijām (detail: "original", mainot izmēru ar koordinātu konversiju). Avoti: Integration recipes · Computer use.

Vairāk nekā vienkāršs klikšķis

Aģentam pārlūkošana nav tikai URL atvēršana. Tā ir navigācija reālā tīmeklī, kas pilns ar pāradresācijām, lapām, kuru renderēšana aizņem četras sekundes, piekrišanas banneriem, kas nosedz visu saturu, un informācijai, kas parādās tikai pēc vairākkārtīgas ritināšanas. Aģents, kas ignorē šos šķēršļus, izgāžas jau otrajā lapā; tas, kas tos paredz, bez iejaukšanās veic desmit ekrānu garu ceļojumu.

Divi veidi, kā nokļūt galamērķī

Ja tev ir precīza adrese, neliedz AI to meklēt: nosūti pārlūku tur tieši.

page.goto("https://example.com/products")
page.wait_for_load_state("networkidle")

Turpretī, ja adrese ir atkarīga no tā, kas tiek attēlots – trešais produkts cenas ziņā sakārtotā sarakstā, dinamiski ģenerēta saite “Skatīt rēķinu” – ļauj modelim apskatīt un noklikšķināt.

# AI redz ekrānuzņēmumu un nolemj noklikšķināt uz saites
# Tas notiek automātiski Computer Use ciklā

Pareizā pieeja ir abu metožu kombinēšana vienā darbplūsmā: tieša navigācija zināmiem ceļojuma posmiem un vizuāla navigācija visam, kas tiek atklāts ceļā. Tas ietaupa dārgas iterācijas, kas nedod nekādu vērtību.

Sīkdatņu banners: šķērslis numur viens

Eiropā gandrīz katra vietne pirmās ielādes laikā parāda piekrišanas banneri. Kamēr tas ir klāt, tas pārtver klikšķus, un tavs aģents griežas uz vietas, nesaprotot, kāpēc lapa nereaģē. Neizgudro risinājumu katrai vietnei atsevišķi: iekodē to vienreiz un uz visiem laikiem aģenta norādījumos – Responses API parametrā instructions, kas darbojas kā sistēmas uzvedne – ar skaidru direktīvu, ko noraidīt.

INSTRUCTIONS = """You are an agent that browses the web.
Rules:
- If you see a cookie or consent banner,
  refuse optional cookies or click "Refuser" / "Reject"
- If only "Accept" is offered, accept only if the task allows it;
  otherwise, stop and report it
- Don't waste time on popups: handle them immediately
"""

# Nosūti to KATRAM pieprasījumam ciklā: izmantojot previous_response_id,
# norādījumi no iepriekšējās atbildes netiek pārnesti.
response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    instructions=INSTRUCTIONS,
    input=tache,
)

Pirmo divu noteikumu secībai ir nozīme: aģents pēc noklusējuma noraida, un pieņemšana paliek uzdevuma devēja, nevis modeļa lēmums. Ņem vērā arī koda komentāru: Responses API dokumentācija norāda, ka instructions no vienas atbildes netiek pārnesti uz nākamo, veidojot ķēdi ar previous_response_id. Cikls, kas tos nosūta tikai pirmajā solī, zaudē tos otrajā.

Trīs gaidīšanas veidi

Mūsdienu lapas saturu ielādē asinhroni, un tavs aģents var noklikšķināt tur, kur poga vēl nav parādījusies. Uzticamākais risinājums joprojām ir Playwright tīkla gaidīšana, kas atgriež kontroli, kad visi pieprasījumi ir pabeigti.

page.goto(url)
page.wait_for_load_state("networkidle")
# Visi tīkla pieprasījumi ir pabeigti

Ar to nepietiek visur: lietotnē, kas uztur pastāvīgu savienojumu – websocket, polling, tiešsaistes čats – tīkls nekad nav dīkstāvē, un gaidīšana beidzas ar noilgumu. Šādā gadījumā izmanto vienkāršu aizturi pirms uzņēmšanas.

import time

def wait_and_screenshot(page, wait_seconds=2):
    """Pagaidi, tad uzņem ekrānuzņēmumu."""
    time.sleep(wait_seconds)
    return page.screenshot()

Ir arī trešais, bieži aizmirstais ceļš: uzticēt spriedumu pašam modelim. Tas redz ielādes indikatoru vai daļēji renderētu saturu un saprot, ka labāk ir pieprasīt papildu ekrānuzņēmumu, nevis rīkoties akli.

task = """
Navigate to https://example.com/dashboard.
If the page still appears to be loading 
(spinner visible, partial content), 
wait for an additional screenshot before acting.
"""

Garā ceļojuma vadīšana

Vairāku lapu secībā uzdevums, kas formulēts vienā teikumā, ceļā sabrūk: aģents līdz trešajam ekrānam ir aizmirsis pusi norādījumu. Sadali to skaidros soļos – pateicoties atbilžu ķēdei, izmantojot previous_response_id, modelis seko līdzi jau paveiktajiem soļiem un vienmēr zina, kur atrodas.

task = """
Step 1: Go to https://shop.example.com
Step 2: Search for "mechanical keyboard" in the search bar
Step 3: Sort results by ascending price
Step 4: Open the first product
Step 5: Note the price and availability
"""

Cilnes AI nepārvalda

Computer Use strādā tikai ar vienu skata logu. Ja saite atveras jaunā cilnē, aģents turpina fotografēt veco un nesaprot, kāpēc nekas nav mainījies – klasiska situācija ar target="_blank" saitēm, kas sastopamas gandrīz katrā ziņu vietnē. Atrisini to augšupplūsmā Playwright vidē, lai modelim par to nebūtu jāraizējas.

REMOVE_BLANK = """
document.addEventListener("click", (e) => {
  const link = e.target.closest && e.target.closest('a[target="_blank"]');
  if (link) link.removeAttribute("target");
}, true);
"""

def handle_new_tab(context, page):
    """Uzturi navigāciju cilnē, ko aģents fotografē."""
    # Katrā ielādētā lapā klikšķis uz target="_blank" saites
    # to atver pašreizējā cilnē...
    context.add_init_script(REMOVE_BLANK)
    # ... un jebkurš logs, ko atver skripts, tiek nekavējoties aizvērts
    page.on("popup", lambda popup: popup.close())

Inicializācijas skripts tiek izpildīts katrā lapā pirms tās pašas skriptiem: klausītājs, kas iestatīts uzņemšanas fāzē, noņem atribūtu target pirms pārlūks seko saitei. Lapas notikums popup aptver atlikušo: logus, ko atver window.open.

Attēla kvalitāte nosaka visu pārējo

Neskaidrs vai apgriezts ekrānuzņēmums rada aģentu, kas noklikšķina uz nepareizas pogas, un tu pavadīsi vairāk laika, debugējot tā kļūdas, nekā labojot uzņēmumu. Uzņem redzamo skata logu, nevis visu lapu: full_page uzņēmums rada pārmērīgi lielu attēlu, un, vēl ļaunāk, tā koordinātas vairs neatbilst ekrānam, kur page.mouse veic klikšķus.

import base64

def optimized_screenshot(page) -> str:
    """Uzņem redzamo skata logu kā PNG, base64 formātā."""
    screenshot = page.screenshot(
        type="png",
        full_page=False,  # Tikai redzamais skata logs
    )
    return base64.b64encode(screenshot).decode("utf-8")

API pusē OpenAI iesaka nosūtīt uzņēmumus ar detail: "original", kas saglabā izšķirtspēju un uzlabo klikšķu precizitāti, un iesaka izvairīties no high un low vērtībām Computer Use gadījumā. Liels uzņēmums patērē vairāk tokenus, un API to var mainīt izmēru vai pat noraidīt, ja tas pārsniedz limitus. Ja tev ir jāsamazina uzņēmumi, dari to pirms nosūtīšanas un konvertē modeļa koordinātas atpakaļ uz sākotnējo attēla telpu; OpenAI ziņo par labiem rezultātiem ar darbvirsmām 1440×900 un 1600×900 izmērā. Šajā kursā izmantotajam 1280×720 skata logam samazināšana nav nepieciešama.

Galvenās atziņas

  • Kombinē tiešo navigāciju (zināmi URL) un vizuālo navigāciju (dinamiskas saites) atkarībā no konteksta
  • Apstrādā GDPR uznirstošos logus aģenta instructions, nosūtot tos ar katru pieprasījumu
  • Pagaidi pilnu ielādi pirms ekrānuzņēmuma uzņemšanas
  • Uzņem redzamo skata logu un nosūti to ar detail: "original"; ja maini attēla izmēru, konvertē koordinātas
  • Apstrādā jaunās cilnes Playwright vidē, nevis AI