Salt la conținutul principal
Română— Alege o limbă
Meniu

Arhitectură: Capturi de ecran, acțiuni și bucla de interacțiune

Lecția 2 din 14 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Bucla percepție-acțiune
  2. Punctul de plecare: captura de ecran
  3. Analiză și decizie
  4. Repertoriul de acțiuni
  5. Fluxul complet
  6. Costul unei iterații a buclei
  7. Puncte cheie

Lecție rescrisă la 3 noiembrie 2026 pe baza ghidului Computer use și a rețetelor de integrare Computer use integration recipes de la OpenAI: Acest curs se baza anterior pe API-ul Anthropic (import anthropic, instrumentul computer_20241022). Acum utilizează instrumentul computer din API-ul Responses al OpenAI, cu acțiuni grupate într-un computer_call și capturi de ecran returnate prin computer_call_output. Am eliminat numărările de tokenuri și estimările de durată nesursate din versiunea anterioară. Surse: Computer use · Integration recipes.

Bucla percepție-acțiune

Întreaga arhitectură a Computer Use se reduce la un singur ciclu: observă → decide → acționează → observă. Până când acest ciclu nu este clar în mintea dumneavoastră, automatizările vor rămâne eratic; odată ce ați înțeles mecanismul, restul este doar infrastructură.

Diferența față de un script Selenium constă în locul unde rezidă cunoașterea. Selenium execută orbește o secvență predeterminată: click aici, apoi acolo, apoi tastează asta. Computer Use alege pasul următor doar după ce vede rezultatul celui anterior. Apare o fereastră pop-up, o pagină se încarcă mai greu sau eticheta unui buton se schimbă peste noapte: în toate cele trei cazuri, modelul vede situația reală și se ajustează, în timp ce scriptul continuă să recite în gol.

Cu instrumentul computer de la OpenAI, schimbul se desfășoară în trei pași: trimiteți sarcina, executați acțiunile returnate de model și apoi trimiteți înapoi o captură de ecran. Aplicația dumneavoastră deține controlul mouse-ului și al tastaturii; modelul ia doar deciziile.

Punctul de plecare: captura de ecran

Fiecare iteratie se bazează pe o imagine a stării curente a ecranului. Această captură de ecran provine de la un browser controlat de Playwright—cel mai comun caz pentru automatizarea web—de la un desktop virtual atunci când se automatizează o aplicație desktop sau de la un container Docker care izolează agentul. OpenAI recomandă utilizarea unui browser izolat sau a unei mașini virtuale în toate cazurile.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Captura de ecran este trimisă înapoi modelului ca un URL de date PNG. Aceasta contează ca o intrare de imagine, deci afectează costul fiecărei iterații: dimensiunea ferestrei pe care o capturați este un parametru real de design.

Analiză și decizie

Modelul primește sarcina, istoricul conversației și cea mai recentă captură de ecran. Răspunsul său nu este o propoziție, ci un element computer_call, care conține o listă ordonată de acțiuni de executat. Iată un exemplu din documentația OpenAI care selectează un câmp de căutare și apoi tastează un cuvânt:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Două detalii contează. Primul apel ar putea conține doar o acțiune screenshot: modelul cere să vadă ecranul înainte de a acționa, iar dumneavoastră returnați o captură de ecran fără a schimba nimic. De asemenea, status: "completed" înseamnă că modelul a terminat generarea apelului, nu că acțiunile au fost efectuate: executarea lor vă revine dumneavoastră.

Repertoriul de acțiuni

Vocabularul disponibil modelului este intenționat limitat; combinate, aceste primitive acoperă majoritatea a ceea ce face un om cu mouse-ul și tastatura.

AcțiuneDescriereCâmpuri
clickClick la o pozițiex, y, button (left, right, wheel, back, forward)
double_clickDublu-clickx, y
dragTragere de-a lungul unei căipath (listă de puncte)
moveMutarea cursoruluix, y
scrollDerularex, y, scroll_x, scroll_y
keypressTastă sau combinațiekeys (de ex. ["CTRL", "A"])
typeTastare texttext
waitAșteptare încărcare pagină—
screenshotSolicitare nouă captură de ecran—

Fluxul complet

Puse cap la cap, aceste elemente creează bucla următoare, modelată după documentația OpenAI. Atâta timp cât răspunsul conține un computer_call, executați acțiunile sale, capturați ecranul și returnați captura de ecran într-un computer_call_output care reutilizează același call_id; previous_response_id leagă fiecare iterație de cea anterioară.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Această buclă nu are încă limite de siguranță: în producție, limitați numărul de iterații, durata și costul; opriți execuția dacă un apel include verificări de siguranță în așteptare (pending_safety_checks); și verificați rezultatul real în loc să aveți încredere doar în mesajul final al modelului. Acestea sunt ghidurile de siguranță ale OpenAI, acoperite în Lecția 12.

Costul unei iterații a buclei

Fiecare cerere către API-ul Responses taxează tokenuri de intrare și de ieșire, iar fiecare captură de ecran contează ca o intrare de imagine; un mediu găzduit poate fi facturat separat. Costul unei sarcini depinde therefore de numărul de iterații, de dimensiunea capturii de ecran și de model—și crește mai repede decât numărul de iterații, deoarece chiar și cu previous_response_id, toți tokenii de intrare din răspunsurile anterioare din lanț sunt re-taxați ca intrare la fiecare cerere. OpenAI oferă un calculator de costuri pentru imagini și expune utilizarea pentru fiecare cerere: măsurați pe propriile fluxuri de lucru înainte de a face bugetarea. Un script Selenium va face întotdeauna același lucru mai repede și mai ieftin—dar va trebui să-l rescrieți data viitoare când formularul se schimbă, lucru pe care agentul nu îl necesită.

Puncte cheie

  • Bucla sarcină → acțiuni → captură de ecran este inima Computer Use; aplicația dumneavoastră execută acțiunile
  • Cu OpenAI, declarați instrumentul cu tools=[{"type": "computer"}] în API-ul Responses
  • Un computer_call conține o listă ordonată de acțiuni (click, type, scroll, keypress, etc.) de executat în secvență
  • Captura de ecran revine la model într-un computer_call_output cu același call_id, înlănțuit prin previous_response_id
  • Fiecare iterație costă tokenuri și o imagine: limitați iterațiile și măsurați înainte de a face bugetarea