Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Arkitettura: Screenshots, Azzjonijiet, u ċ-Ċiklu ta' Interazzjoni

Lezzjoni 2 / 14 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Iċ-ċiklu ta’ percezzjoni-azzjoni
  2. Il-punt tat-tluq: is-screenshot
  3. Analiżi u deċiżjoni
  4. Ir-repertorju tal-azzjonijiet
  5. Il-fluss sħiħ
  6. Kemm tispiża dawra ta’ ċiklu
  7. Punti Ewlenin

Lezzjoni miktuba mill-ġdid fit-3 ta’ Novembru 2026 ibbażata fuq il-gwida Computer use ta’ OpenAI u r-riċetti ta’ integrazzjoni Computer use integration recipes: Dan il-kors qabel kien jiddependi fuq l-API ta’ Anthropic (import anthropic, għodda computer_20241022). Issa juża l-għodda computer tal-API tar-Risposti ta’ OpenAI, b’azzjonijiet raggruppati f’computer_call u screenshots irritornati permezz ta’ computer_call_output. Neħħejna l-għadd ta’ tokens mingħajr sors u l-istimi tad-durata mill-verżjoni preċedenti. Sorsi: Computer use · Integration recipes.

Iċ-ċiklu ta’ percezzjoni-azzjoni

L-arkitettura kollha tal-Użu tal-Kompjuter (Computer Use) tinżel għal ċiklu wieħed biss: osserva → iddeċiedi → aġixxi → osserva. Sakemm dan iċ-ċiklu ma jkunx ċar f’moħħok, l-awtomazzjonijiet tiegħek se jibqgħu erratici; ladarba tifhemh, il-bqija hija sempliċiment pajpijiet.

Id-differenza minn script ta’ Selenium tinsab f’fejn tgħix l-għarfien. Selenium jesegwixxi b’mod għami sekwenza ddeterminata minn qabel: ikklikkja hawn, imbagħad hemm, imbagħad ikteb dan. L-Użu tal-Kompjuter jagħżel il-pass li jmiss biss wara li jara r-riżultat ta’ dak ta’ qablu. Jidher popup, paġna tieħu aktar żmien biex titgħabba, jew tikketta ta’ buttuna tinbidel f’daqqa waħda: fit-tliet każijiet, il-mudell jara s-sitwazzjoni attwali u jaddatta, filwaqt li l-script ikompli jirreċita fil-vojt.

Bil-għodda computer ta’ OpenAI, l-iskambju iseħħ f’tliet passi: tibgħat il-kompitu, tesegwixxi l-azzjonijiet li jirritorna l-mudell, u mbagħad tibgħat lura screenshot. L-applikazzjoni tiegħek iżżomm il-maws u t-tastiera; il-mudell jieħu d-deċiżjonijiet biss.

Il-punt tat-tluq: is-screenshot

Kull dawra tiddependi fuq immaġni tal-istat attwali tal-iskrin. Dan is-screenshot jiġi minn browser ikkontrollat minn Playwright—il-każ l-aktar komuni għall-awtomazzjoni tal-web—minn desktop virtwali meta tkun qed tawtomatizza applikazzjoni tad-desktop, jew minn kontenitur Docker li jiżola l-aġent. OpenAI tirrakkomanda li tuża browser iżolat jew magna virtwali fil-każijiet kollha.

import base64

def capture_screen(page) -> str:
    """Capture the screen with Playwright and return the PNG image as base64."""
    return base64.b64encode(page.screenshot()).decode("utf-8")

Is-screenshot jerġa’ lura għall-mudell bħala URL tad-dejta PNG. Jgħodd bħala input ta’ immaġni, allura jaffettwa l-ispiża ta’ kull dawra: id-daqs tat-tieqa li taqbad huwa parametru reali tad-disinn.

Analiżi u deċiżjoni

Il-mudell jirċievi l-kompitu, l-istorja tal-konversazzjoni, u l-aħħar screenshot. Ir-risposta tiegħu mhix sentenza iżda oġġett computer_call, li ġġorr lista ordnata ta’ azzjonijiet biex jiġu eżegwiti. Hawnhekk hemm eżempju mid-dokumentazzjoni ta’ OpenAI li jagħżel qasam ta’ tfittxija u mbagħad jikteb kelma:

{
  "type": "computer_call",
  "call_id": "call_002",
  "actions": [
    { "type": "click", "button": "left", "x": 405, "y": 157 },
    { "type": "type", "text": "penguin" }
  ],
  "status": "completed"
}

Żewġ dettalji huma importanti. L-ewwel sejħa tista’ fiha biss azzjoni screenshot: il-mudell qed jitlob li jara l-iskrin qabel ma jaġixxi, u inti tirritorna screenshot mingħajr ma tbiddel xejn. Barra minn hekk, status: "completed" ifisser li l-mudell lesta l-ġenerazzjoni tas-sejħa, mhux li l-azzjonijiet twettqu: l-eżekuzzjoni tagħhom hija f’idejk.

Ir-repertorju tal-azzjonijiet

Il-vokabolarju disponibbli għall-mudell huwa intenzjonalment limitat; meta magħqudin, dawn il-primittivi jkopru l-biċċa l-kbira ta’ dak li bniedem jagħmel bil-maws u t-tastiera.

AzzjoniDeskrizzjoniOqsma
clickIkklikkja f’pożizzjonix, y, button (left, right, wheel, back, forward)
double_clickIkklikkja darbtejnx, y
dragIġbed tul mogħdijapath (lista ta’ punti)
moveĊaqlaq il-puntaturx, y
scrollSkrolljax, y, scroll_x, scroll_y
keypressTast jew kombinazzjonikeys (eż. ["CTRL", "A"])
typeIkteb testtext
waitĦalli l-paġna titgħabba—
screenshotItlob screenshot ġdid—

Il-fluss sħiħ

Meta mqiegħda flimkien, dawn l-elementi joħolqu ċ-ċiklu li ġej, immudellat fuq id-dokumentazzjoni ta’ OpenAI. Sakemm ir-risposta fiha computer_call, inti tesegwixxi l-azzjonijiet tagħha, taqbad l-iskrin, u tirritorna s-screenshot f’computer_call_output li jerġa’ juża l-istess call_id; previous_response_id torbot kull dawra ma’ dik ta’ qabilha.

from openai import OpenAI

client = OpenAI()

def computer_use_loop(page, task: str):
    """Computer Use loop with the computer tool from the Responses API."""
    response = client.responses.create(
        model="gpt-6.1-sol",
        tools=[{"type": "computer"}],
        input=task,
    )

    while True:
        call = next(
            (item for item in response.output if item.type == "computer_call"),
            None,
        )
        if call is None:
            return response.output_text  # no more actions requested: task is done

        execute_actions(page, call.actions)  # your action handler (Lesson 4)
        screenshot = capture_screen(page)

        response = client.responses.create(
            model="gpt-6.1-sol",
            tools=[{"type": "computer"}],
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )

Dan iċ-ċiklu għadu m’għandux guardrails: fil-produzzjoni, illimita n-numru ta’ dawriet, id-durata u l-ispiża; waqaf jekk sejħa tinkludi verifiki tas-sigurtà pendenti (pending_safety_checks); u vverifika r-riżultat attwali minflok ma tifda biss il-messaġġ finali tal-mudell. Dawn huma l-linji gwida tas-sigurtà ta’ OpenAI, koperti fil-Lezzjoni 12.

Kemm tispiża dawra ta’ ċiklu

Kull talba lill-API tar-Risposti tiġbor ħlas għat-tokens tal-input u tal-output, u kull screenshot jgħodd bħala input ta’ immaġni; ambjent ospitat jista’ jiġi fatturat separatament. Għalhekk, l-ispiża ta’ kompitu tiddependi fuq in-numru ta’ dawriet, id-daqs tas-screenshot u l-mudell—u tikber aktar malajr min-numru ta’ dawriet, għax anke b’previous_response_id, it-tokens tal-input kollha mir-risposti preċedenti fil-katina jerġgħu jiġu ċċarġjati bħala input fuq kull talba. OpenAI tipprovdi kalkulatur tal-ispiża tal-immaġni u tesponi l-użu għal kull talba: kejjel fuq il-flussi tax-xogħol tiegħek stess qabel ma tibbaġitja. Script ta’ Selenium dejjem jagħmel l-istess ħaġa aktar malajr u irħas—imma jkollok terġa’ tiktbu d-darba li jmiss li tinbidel il-formola, li l-aġent ma jeħtiġx.

Punti Ewlenin

  • Iċ-ċiklu kompitu → azzjonijiet → screenshot huwa l-qalb tal-Użu tal-Kompjuter; l-applikazzjoni tiegħek tesegwixxi l-azzjonijiet
  • Ma’ OpenAI, iddikjara l-għodda b’tools=[{"type": "computer"}] fl-API tar-Risposti
  • computer_call iġorr lista ordnata ta’ azzjonijiet (click, type, scroll, keypress, eċċ.) biex jiġu eżegwiti f’sekwenza
  • Is-screenshot jerġa’ lura għall-mudell f’computer_call_output bl-istess call_id, imqabbad permezz ta’ previous_response_id
  • Kull dawra tispiża tokens u immaġni: illimita d-dawriet u kejjel qabel ma tibbaġitja