Konfigurazzjoni tal-Użu tal-Kompjuter fl-API
F'din il-paġna
Lezzjon miktuba mill-ġdid fit-3 ta’ Novembru 2026 ibbażata fuq il-gwida Computer use ta’ OpenAI u r-riċetti ta’ integrazzjoni Computer use: il-konfigurazzjoni issa tuża l-SDK
openai, il-varjabbli tal-ambjentOPENAI_API_KEY, u l-għodda{"type": "computer"}fl-API tar-Risposti. Ma tiddependix aktar fuq l-SDK ta’ Anthropic jew l-għodda antikacomputer_20241022. L-għodda ta’ OpenAI ma teħtiġx dimensjonijiet tal-iskrin; il-koordinati jirreferu għall-iscreenshot li tipprovdi. Sorsi: Computer use · Integration recipes.
Prerekwiżiti
Qabel ma tikteb linja waħda ta’ kodiċi, l-istazzjon tax-xogħol tiegħek jeħtieġ erba’ affarijiet: verżjoni riċenti ta’ Python 3, kont OpenAI b’ċavetta API attiva u aċċess għal mudell li jappoġġja l-għodda computer, browser Chromium immexxi minn Playwright għall-interazzjonijiet web, u Docker jekk qed tippjana li tiżola l-aġent. Docker huwa fakultattiv waqt li qed titgħallem, iżda OpenAI tirrakkomanda browser iżolat jew magna virtwali malli l-aġent jinteraġixxi ma’ kwalunkwe ħaġa lil hinn minn sit demo.
Għall-mudell, id-dokumentazzjoni ta’ OpenAI tuża gpt-6.1-sol fl-eżempji tal-għodda computer tagħha. Iċċekkja l-karta tal-mudell (taħt Tools) biex tikkonferma li l-użu tal-kompjuter huwa elenkat u li l-proġett tiegħek għandu aċċess għalih.
Installazzjoni tad-dipendenzi
Aħdem f’ambjent virtwali ddedikat. Aġent ta’ Computer Use jiffissa verżjonijiet speċifiċi ta’ Playwright u l-browsers tiegħu. Jekk taħlit dawn mal-proġetti Python l-oħra tiegħek, se twassal għal kunflitti li huma painfull biex tiddijanostikahom.
# Oħloq u attiva l-ambjent
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Installa d-dipendenzi
pip install openai playwright pillow
# Installa l-browser ta' Playwright
playwright install chromium
Kull pakkett għandu rwol distint: openai jipprovdi l-klijent li jitkellem mal-mudell, playwright imexxi l-browser u jesegwixxi l-azzjonijiet, u pillow jimmanipula l-immaġini meta jkun meħtieġ. L-aħħar kmand huwa dak li n-nies jinsu l-aktar spiss. Mingħajr playwright install chromium, il-pakkett ikun installat iżda l-ebda browser ma jiġi mniżżel, u dan iwassal biex l-ewwel eżekuzzjoni tfalli.
Twaqqif taċ-ċavetta API
Aħżen iċ-ċavetta tiegħek f’varjabbli tal-ambjent, qatt ma tiktbuha direttament (hard-coded) fi skript. Sigriet miktub fil-kodiċi eventwalment jispiċċa f’repożitorju Git.
export OPENAI_API_KEY="your-key"
Fil-produzzjoni, uża maniġer tas-sigrieti. Il-klijent jaqra l-varjabbli awtomatikament:
from openai import OpenAI
client = OpenAI() # jaqra OPENAI_API_KEY
Dikjarazzjoni tal-għodda tal-kompjuter
Mudell ma jikkontrollax skrin b’mod awtomatiku. Trid tattivaw l-għodda computer fit-talba u tiddeskrivi r-riżultat mistenni.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Check if the Filters panel is open. If not, "
"click Show Filters, then type penguin in the search "
"field. Use the computer tool to interact with the interface."
),
)
print(response.output)
Id-dikjarazzjoni hija sempliċiment {"type": "computer"}. Kuntrarjament għall-verżjoni bikrija ta’ prova (computer_use_preview), din ma teħtiġ la dimensjonijiet tal-iskrin u lanqas tip ta’ ambjent, u t-trunkazzjoni awtomatika m’għadhiex meħtieġa. Il-koordinati li jirritorna l-mudell jirreferu għall-iscreenshot li tibgħat. Aqbad eżattament iż-żona li intendi tikklikkja, bl-istess skala. Jekk tibdel id-daqs ta’ screenshot qabel ma tibgħathu, ikkonverti l-koordinati lura qabel ma taġixxi.
Konfigurazzjoni tal-browser
Min-naħa ta’ Playwright, poġġi l-loġika tal-ħruġ (launch) f’funzjoni li tista’ tuża mill-ġdid fuq kompiti differenti.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Launches an isolated browser for Computer Use."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False biex tara l-aġent
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() taqbad il-viewport, allura l-koordinati tal-mudell japplikaw direttament għal page.mouse. L-għażla headless=True tħaddem il-browser mingħajr interfaċċja grafika, li hija essenzjali fuq server. Waqt l-iżvilupp, issettja dan għal False biex tara l-aġent jaħdem. Din hija l-aktar mod mgħaġġel biex tifhem għaliex jagħmel żbalji.
Organizzazzjoni tal-proġett
Separa l-loġika tal-browser, iċ-ċiklu tal-aġent, u l-eżekuzzjoni tal-azzjonijiet mill-bidu nett.
computer-use-project/
├── .env # OPENAI_API_KEY (qatt tagħmel commit)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Tnedija u qbid
│ ├── agent.py # Ċiklu ta' Computer Use
│ └── actions.py # Eżekuzzjoni tal-azzjoni
└── tasks/
└── example.py # Skripts tal-kompiti
Verifika tal-installazzjoni
Tibnix xogħol kumpless fuq konfigurazzjoni li ma ġietx ivvalidata. Jekk l-ewwel ġirja tfalli, mhux se tkun taf jekk il-problema hijiex fiċ-ċavetta, fil-browser, jew fil-prompt tiegħek. Dan l-iskript minimu jittestja ċ-ċintura kollha: klijent, browser, qbid, u trażmissjoni tal-immaġni lill-mudell.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Verifies that the key, browser, and image upload work."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Describe what you see."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Response:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Jekk il-console turi deskrizzjoni tal-paġna example.com, il-konfigurazzjoni tiegħek hija lesta, u tista’ tipproċedi biex tibni aġent sħiħ.
Punti Ewlenin
- Installa
openai,playwright, upillowf’ambjent virtwali ddedikat, imbagħad ħaddemplaywright install chromium - Żomm iċ-
OPENAI_API_KEYf’varjabbli tal-ambjent, qatt fil-kodiċi - Iddikjara l-għodda b’
tools=[{"type": "computer"}]billi tuża mudell appoġġjat (l-eżempji ta’ OpenAI jużawgpt-6.1-sol) - Il-koordinati tal-mudell jirreferu għall-iscreenshot mibgħut: aqbad iż-żona li taġixxi fuqha bl-istess skala
- Dejjem ittestja b’skript minimu qabel ma tibni flussi ta’ ħidma kumplessi