A számítógép-használat konfigurálása az API-ban
Ezen az oldalon
A leckét 2026. november 3-án írtuk át az OpenAI Computer use útmutatója és a Computer use integration recipes alapján: a konfiguráció most az
openaiSDK-t, azOPENAI_API_KEYkörnyezeti változót és a{"type": "computer"}eszközt használja a Responses API-ban. Többé nem támaszkodik az Anthropic SDK-ra vagy a régicomputer_20241022eszközre. Az OpenAI eszköznek nincs szüksége képernyőméretekre; a koordináták az általad biztosított képernyőképre vonatkoznak. Források: Computer use · Integration recipes.
Előfeltételek
Mielőtt egyetlen sor kódot is írnál, a munkakörnyezetednek négy dologra van szüksége: a Python 3 egy friss verziójára, egy OpenAI-fiókra, amelyhez aktív API-kulcs tartozik, és hozzáférésed van egy olyan modellhez, amely támogatja a computer eszközt, egy Chromium böngészőre, amelyet a Playwright vezérel a webes interakciókhoz, valamint Dockerre, ha izolálni szeretnéd az ágenst. A Docker tanulási fázisban opcionális, de az OpenAI azt javasolja, hogy használj izolált böngészőt vagy virtuális gépet, amint az ágens a demó oldalakon túl bármi mással is interakcióba lép.
A modell tekintetében az OpenAI dokumentációja a gpt-6.1-sol modellt használja a computer eszköz példáiban. Ellenőrizd a modellkártyát (a Tools szekció alatt), hogy megbizonyosodj róla: a számítógép-használat fel van sorolva, és a projekted rendelkezik hozzáféréssel.
Függőségek telepítése
Dedikált virtuális környezetben dolgozz. A Computer Use ágens rögzített verziókat használ a Playwright és annak böngészői számára. Ha ezeket összekevered más Python projektjeiddel, olyan konfliktusokhoz vezet, amelyek diagnosztizálása fájdalmas lehet.
# Környezet létrehozása és aktiválása
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Függőségek telepítése
pip install openai playwright pillow
# A Playwright böngésző telepítése
playwright install chromium
Minden csomag eltérő szerepet tölt be: az openai biztosítja a modellel kommunikáló klienst, a playwright vezérli a böngészőt és hajtja végre a műveleteket, a pillow pedig szükség esetén kezeli a képek manipulálását. Az utolsó parancsot felejtik el a leggyakrabban. A playwright install chromium nélkül a csomag telepítve lesz, de a böngésző nem töltődik le, ami miatt az első futtatás meghiúsul.
Az API-kulcs beállítása
A kulcsot környezeti változóban tárold, soha ne kódold bele közvetlenül a szkriptbe. A kódba írt titkos adat előbb-utóbb felkerül egy Git-tárolóba.
export OPENAI_API_KEY="your-key"
Éles környezetben titokkezelőt (secrets manager) használj. A kliens automatikusan beolvassa a változót:
from openai import OpenAI
client = OpenAI() # beolvassa az OPENAI_API_KEY változót
A számítógép-eszköz deklarálása
A modell alapértelmezetten nem vezérel képernyőt. Engedélyezned kell a computer eszközt a kérésben, és le kell írnod a várt eredményt.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Ellenőrizd, hogy nyitva van-e a Szűrők panel. Ha nem, "
"kattints a Szűrők megjelenítése gombra, majd írd be a 'penguin' szót a keresőmezőbe. "
"Használd a számítógép-eszközt a felülettel való interakcióhoz."
),
)
print(response.output)
A deklaráció egyszerűen ennyi: {"type": "computer"}. Ellentétben a korai előzetes verzióval (computer_use_preview), ehhez nincs szükség képernyőméretekre vagy környezeti típusra, és az automatikus csonkolás sem szükséges többé. A modell által visszaadott koordináták az elküldött képernyőképre vonatkoznak. Pontosan azt a területet rögzítsd, amelyre kattani szeretnél, ugyanabban a méretarányban. Ha átméretezed a képernyőképet elküldés előtt, a művelet végrehajtása előtt vissza kell konvertálnod a koordinátákat.
A böngésző konfigurálása
A Playwright oldalán a indítási logikát csomagold egy függvénybe, amelyet feladatok között újra felhasználhatsz.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Elindít egy izolált böngészőt a számítógép-használathoz."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False, ha figyelni akarod az ágenst
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
A page.screenshot() rögzíti a nézetet (viewport), így a modell koordinátái közvetlenül alkalmazhatók a page.mouse-ra. A headless=True opció felhasználói felület nélkül futtatja a böngészőt, ami szerveren elengedhetetlen. Fejlesztés közben állítsd ezt False-ra, hogy lásd, mit csinál az ágens. Ez a leggyorsabb módja annak, hogy megértsd, miért követ el hibákat.
A projekt szervezése
A böngésző logikáját, az ágens ciklusát és a műveletek végrehajtását már a kezdetektől fogva válaszd szét.
computer-use-project/
├── .env # OPENAI_API_KEY (soha ne commitold)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Indítás és rögzítés
│ ├── agent.py # Computer Use ciklus
│ └── actions.py # Műveletvégrehajtás
└── tasks/
└── example.py # Feladat szkriptek
A telepítés ellenőrzése
Ne építs komplex munkafolyamatot érvényesítetlen konfigurációra. Ha az első futtatás sikertelen, nem fogod tudni, hogy a probléma a kulccsal, a böngészővel vagy a prompttal van-e. Ez a minimális szkript teszteli az egész láncot: klienst, böngészőt, rögzítést és a kép továbbítását a modellnek.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Ellenőrzi, hogy a kulcs, a böngésző és a képfeltöltés működik-e."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Írd le, amit látsz."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Válasz:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Ha a konzol kiírja az example.com oldal leírását, a konfigurációd készen áll, és folytathatod egy teljes ágens felépítésével.
Főbb megállapítások
- Telepítsd az
openai,playwrightéspillowcsomagokat egy dedikált virtuális környezetbe, majd futtasd aplaywright install chromiumparancsot - Az
OPENAI_API_KEY-t környezeti változóban tartsd, soha ne a kódban - Deklaráld az eszközt a
tools=[{"type": "computer"}]szintaxissal egy támogatott modell használatával (az OpenAI példái agpt-6.1-solmodellt használják) - A modell koordinátái az elküldött képernyőképre vonatkoznak: ugyanabban a méretarányban rögzítsd azt a területet, amelyen cselekszel
- Mielőtt komplex munkafolyamatokat építenél, mindig tesztelj egy minimális szkripttel