Arkitettura: Screenshots, Azzjonijiet, u ċ-Ċiklu ta' Interazzjoni
F'din il-paġna
Lezzjoni miktuba mill-ġdid fit-3 ta’ Novembru 2026 ibbażata fuq il-gwida Computer use ta’ OpenAI u r-riċetti ta’ integrazzjoni Computer use integration recipes: Dan il-kors qabel kien jiddependi fuq l-API ta’ Anthropic (
import anthropic, għoddacomputer_20241022). Issa juża l-għoddacomputertal-API tar-Risposti ta’ OpenAI, b’azzjonijiet raggruppati f’computer_callu screenshots irritornati permezz ta’computer_call_output. Neħħejna l-għadd ta’ tokens mingħajr sors u l-istimi tad-durata mill-verżjoni preċedenti. Sorsi: Computer use · Integration recipes.
Iċ-ċiklu ta’ percezzjoni-azzjoni
L-arkitettura kollha tal-Użu tal-Kompjuter (Computer Use) tinżel għal ċiklu wieħed biss: osserva → iddeċiedi → aġixxi → osserva. Sakemm dan iċ-ċiklu ma jkunx ċar f’moħħok, l-awtomazzjonijiet tiegħek se jibqgħu erratici; ladarba tifhemh, il-bqija hija sempliċiment pajpijiet.
Id-differenza minn script ta’ Selenium tinsab f’fejn tgħix l-għarfien. Selenium jesegwixxi b’mod għami sekwenza ddeterminata minn qabel: ikklikkja hawn, imbagħad hemm, imbagħad ikteb dan. L-Użu tal-Kompjuter jagħżel il-pass li jmiss biss wara li jara r-riżultat ta’ dak ta’ qablu. Jidher popup, paġna tieħu aktar żmien biex titgħabba, jew tikketta ta’ buttuna tinbidel f’daqqa waħda: fit-tliet każijiet, il-mudell jara s-sitwazzjoni attwali u jaddatta, filwaqt li l-script ikompli jirreċita fil-vojt.
Bil-għodda computer ta’ OpenAI, l-iskambju iseħħ f’tliet passi: tibgħat il-kompitu, tesegwixxi l-azzjonijiet li jirritorna l-mudell, u mbagħad tibgħat lura screenshot. L-applikazzjoni tiegħek iżżomm il-maws u t-tastiera; il-mudell jieħu d-deċiżjonijiet biss.
Il-punt tat-tluq: is-screenshot
Kull dawra tiddependi fuq immaġni tal-istat attwali tal-iskrin. Dan is-screenshot jiġi minn browser ikkontrollat minn Playwright—il-każ l-aktar komuni għall-awtomazzjoni tal-web—minn desktop virtwali meta tkun qed tawtomatizza applikazzjoni tad-desktop, jew minn kontenitur Docker li jiżola l-aġent. OpenAI tirrakkomanda li tuża browser iżolat jew magna virtwali fil-każijiet kollha.
import base64
def capture_screen(page) -> str:
"""Capture the screen with Playwright and return the PNG image as base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Is-screenshot jerġa’ lura għall-mudell bħala URL tad-dejta PNG. Jgħodd bħala input ta’ immaġni, allura jaffettwa l-ispiża ta’ kull dawra: id-daqs tat-tieqa li taqbad huwa parametru reali tad-disinn.
Analiżi u deċiżjoni
Il-mudell jirċievi l-kompitu, l-istorja tal-konversazzjoni, u l-aħħar screenshot. Ir-risposta tiegħu mhix sentenza iżda oġġett computer_call, li ġġorr lista ordnata ta’ azzjonijiet biex jiġu eżegwiti. Hawnhekk hemm eżempju mid-dokumentazzjoni ta’ OpenAI li jagħżel qasam ta’ tfittxija u mbagħad jikteb kelma:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Żewġ dettalji huma importanti. L-ewwel sejħa tista’ fiha biss azzjoni screenshot: il-mudell qed jitlob li jara l-iskrin qabel ma jaġixxi, u inti tirritorna screenshot mingħajr ma tbiddel xejn. Barra minn hekk, status: "completed" ifisser li l-mudell lesta l-ġenerazzjoni tas-sejħa, mhux li l-azzjonijiet twettqu: l-eżekuzzjoni tagħhom hija f’idejk.
Ir-repertorju tal-azzjonijiet
Il-vokabolarju disponibbli għall-mudell huwa intenzjonalment limitat; meta magħqudin, dawn il-primittivi jkopru l-biċċa l-kbira ta’ dak li bniedem jagħmel bil-maws u t-tastiera.
| Azzjoni | Deskrizzjoni | Oqsma |
|---|---|---|
click | Ikklikkja f’pożizzjoni | x, y, button (left, right, wheel, back, forward) |
double_click | Ikklikkja darbtejn | x, y |
drag | Iġbed tul mogħdija | path (lista ta’ punti) |
move | Ċaqlaq il-puntatur | x, y |
scroll | Skrollja | x, y, scroll_x, scroll_y |
keypress | Tast jew kombinazzjoni | keys (eż. ["CTRL", "A"]) |
type | Ikteb test | text |
wait | Ħalli l-paġna titgħabba | — |
screenshot | Itlob screenshot ġdid | — |
Il-fluss sħiħ
Meta mqiegħda flimkien, dawn l-elementi joħolqu ċ-ċiklu li ġej, immudellat fuq id-dokumentazzjoni ta’ OpenAI. Sakemm ir-risposta fiha computer_call, inti tesegwixxi l-azzjonijiet tagħha, taqbad l-iskrin, u tirritorna s-screenshot f’computer_call_output li jerġa’ juża l-istess call_id; previous_response_id torbot kull dawra ma’ dik ta’ qabilha.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Computer Use loop with the computer tool from the Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # no more actions requested: task is done
execute_actions(page, call.actions) # your action handler (Lesson 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Dan iċ-ċiklu għadu m’għandux guardrails: fil-produzzjoni, illimita n-numru ta’ dawriet, id-durata u l-ispiża; waqaf jekk sejħa tinkludi verifiki tas-sigurtà pendenti (pending_safety_checks); u vverifika r-riżultat attwali minflok ma tifda biss il-messaġġ finali tal-mudell. Dawn huma l-linji gwida tas-sigurtà ta’ OpenAI, koperti fil-Lezzjoni 12.
Kemm tispiża dawra ta’ ċiklu
Kull talba lill-API tar-Risposti tiġbor ħlas għat-tokens tal-input u tal-output, u kull screenshot jgħodd bħala input ta’ immaġni; ambjent ospitat jista’ jiġi fatturat separatament. Għalhekk, l-ispiża ta’ kompitu tiddependi fuq in-numru ta’ dawriet, id-daqs tas-screenshot u l-mudell—u tikber aktar malajr min-numru ta’ dawriet, għax anke b’previous_response_id, it-tokens tal-input kollha mir-risposti preċedenti fil-katina jerġgħu jiġu ċċarġjati bħala input fuq kull talba. OpenAI tipprovdi kalkulatur tal-ispiża tal-immaġni u tesponi l-użu għal kull talba: kejjel fuq il-flussi tax-xogħol tiegħek stess qabel ma tibbaġitja. Script ta’ Selenium dejjem jagħmel l-istess ħaġa aktar malajr u irħas—imma jkollok terġa’ tiktbu d-darba li jmiss li tinbidel il-formola, li l-aġent ma jeħtiġx.
Punti Ewlenin
- Iċ-ċiklu kompitu → azzjonijiet → screenshot huwa l-qalb tal-Użu tal-Kompjuter; l-applikazzjoni tiegħek tesegwixxi l-azzjonijiet
- Ma’ OpenAI, iddikjara l-għodda b’
tools=[{"type": "computer"}]fl-API tar-Risposti computer_calliġorr lista ordnata ta’ azzjonijiet (click,type,scroll,keypress, eċċ.) biex jiġu eżegwiti f’sekwenza- Is-screenshot jerġa’ lura għall-mudell f’
computer_call_outputbl-istesscall_id, imqabbad permezz ta’previous_response_id - Kull dawra tispiża tokens u immaġni: illimita d-dawriet u kejjel qabel ma tibbaġitja