Configurarea utilizării computerului în API
Pe această pagină
Lecție rescrisă la 3 noiembrie 2026 pe baza ghidului Computer use și a rețetelor de integrare Computer use integration recipes de la OpenAI: configurarea folosește acum SDK-ul
openai, variabila de mediuOPENAI_API_KEYși instrumentul{"type": "computer"}din API-ul Responses. Nu se mai bazează pe SDK-ul Anthropic sau pe instrumentul legacycomputer_20241022. Instrumentul OpenAI nu necesită dimensiunile ecranului; coordonatele se referă la captura de ecran pe care o furnizați. Surse: Computer use · Integration recipes.
Condiții prealabile
Înainte de a scrie prima linie de cod, stația dumneavoastră de lucru are nevoie de patru elemente: o versiune recentă de Python 3, un cont OpenAI cu o cheie API activă și acces la un model care suportă instrumentul computer, un browser Chromium controlat de Playwright pentru interacțiuni web și Docker dacă intenționați să izolați agentul. Docker este opțional în timp ce învățați, dar OpenAI recomandă un browser izolat sau o mașină virtuală imediat ce agentul interacționează cu orice altceva în afara unui site demo.
Pentru model, documentația OpenAI folosește gpt-6.1-sol în exemplele sale pentru instrumentul computer. Verificați fișa modelului (la secțiunea Tools) pentru a confirma că utilizarea computerului este listată și că proiectul dumneavoastră are acces.
Instalarea dependențelor
Lucrați într-un mediu virtual dedicat. Un agent de tip Computer Use fixează versiuni specifice ale Playwright și ale browserelor sale. Amestecarea acestora cu alte proiecte Python va duce la conflicte greu de diagnosticat.
# Crearea și activarea mediului
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Instalarea dependențelor
pip install openai playwright pillow
# Instalarea browserului Playwright
playwright install chromium
Fiecare pachet joacă un rol distinct: openai furnizează clientul care comunică cu modelul, playwright controlează browserul și execută acțiunile, iar pillow gestionează manipularea imaginilor atunci când este necesar. Ultima comandă este cea pe care oamenii o uită cel mai des. Fără playwright install chromium, pachetul este instalat, dar niciun browser nu este descărcat, ceea ce va cauza eșuarea primei rulări.
Setarea cheii API
Stocați cheia într-o variabilă de mediu, niciodată codificată direct în script. Un secret scris în cod ajunge inevitabil într-un repository Git.
export OPENAI_API_KEY="your-key"
În producție, utilizați un manager de secrete. Clientul citește variabila automat:
from openai import OpenAI
client = OpenAI() # citește OPENAI_API_KEY
Declararea instrumentului computer
Un model nu controlează un ecran în mod implicit. Trebuie să activați instrumentul computer în cerere și să descrieți rezultatul așteptat.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Verifică dacă panoul Filters este deschis. Dacă nu, "
"dă click pe Show Filters, apoi tastează penguin în câmpul "
"de căutare. Folosește instrumentul computer pentru a interacționa cu interfața."
),
)
print(response.output)
Declararea este simplu {"type": "computer"}. Spre deosebire de versiunea timpurie de previzualizare (computer_use_preview), aceasta nu necesită nici dimensiunile ecranului, nici un tip de mediu, iar trunchierea automată nu mai este necesară. Coordonatele returnate de model se referă la captura de ecran pe care o trimiteți. Capturați exact zona pe care intenționați să dați click, la aceeași scară. Dacă redimensionați o captură de ecran înainte de a o trimite, convertiți coordonatele înapoi înainte de a acționa.
Configurarea browserului
În partea Playwright, încapsulați logica de lansare într-o funcție pe care o puteți reutiliza între sarcini.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Lansează un browser izolat pentru Computer Use."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False pentru a urmări agentul
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() capturează viewport-ul, astfel încât coordonatele modelului se aplică direct lui page.mouse. Opțiunea headless=True rulează browserul fără interfață grafică, lucru esențial pe un server. În timpul dezvoltării, setați aceasta la False pentru a urmări activitatea agentului. Este cea mai rapidă metodă de a înțelege de ce face greșeli.
Organizarea proiectului
Separați logica browserului, bucla agentului și executarea acțiunilor încă de la început.
computer-use-project/
├── .env # OPENAI_API_KEY (nu faceți commit niciodată)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Lansare și captură
│ ├── agent.py # Buclă Computer Use
│ └── actions.py # Executarea acțiunilor
└── tasks/
└── example.py # Scripturi de sarcini
Verificarea instalării
Nu construiți un flux de lucru complex pe o configurație nevalidată. Dacă prima rulare eșuează, nu veți ști dacă problema este la cheie, la browser sau la prompt. Acest script minimal testează întregul lanț: client, browser, captură și transmiterea imaginii către model.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Verifică dacă cheia, browserul și încărcarea imaginii funcționează."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Descrie ce vezi."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Răspuns:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Dacă consola afișează o descriere a paginii example.com, configurația dumneavoastră este gata și puteți continua cu construirea unui agent complet.
Puncte cheie
- Instalați
openai,playwrightșipillowîntr-un mediu virtual dedicat, apoi rulațiplaywright install chromium - Păstrați
OPENAI_API_KEYîntr-o variabilă de mediu, niciodată în cod - Declarați instrumentul cu
tools=[{"type": "computer"}]folosind un model suportat (exemplele OpenAI folosescgpt-6.1-sol) - Coordonatele modelului se referă la captura de ecran trimisă: capturați zona pe care acționați la aceeași scară
- Testați întotdeauna cu un script minimal înainte de a construi fluxuri de lucru complexe