Konfigurera datoranvändning i API:t
På denna sida
Lektionen omskriven den 3 november 2026 baserat på OpenAIs guide Computer use och Computer use integration recipes: konfigurationen använder nu
openai-SDK:t, miljövariabelnOPENAI_API_KEYoch verktyget{"type": "computer"}i Responses API. Den förlitar sig inte längre på Anthropic SDK eller det äldre verktygetcomputer_20241022. OpenAIs verktyg kräver inga skärmdimensioner; koordinaterna refererar till skärmdumpen du tillhandahåller. Källor: Computer use · Integration recipes.
Förutsättningar
Innan du skriver en enda rad kod behöver din arbetsstation fyra saker: en ny version av Python 3, ett OpenAI-konto med en aktiv API-nyckel och åtkomst till en modell som stöder verktyget computer, en Chromium-webbläsare som styrs av Playwright för webbinteraktioner, samt Docker om du planerar att isolera agenten. Docker är valfritt medan du lär dig, men OpenAI rekommenderar en isolerad webbläsare eller virtuell maskin så snart agenten interagerar med något annat än en demosajt.
För modellen använder OpenAIs dokumentation gpt-6.1-sol i sina exempel för verktyget computer. Kontrollera modellkortet (under Tools) för att bekräfta att datoranvändning listas och att ditt projekt har åtkomst.
Installera beroenden
Arbeta i en dedikerad virtuell miljö. En agent för datoranvändning låser specifika versioner av Playwright och dess webbläsare. Att blanda dessa med dina andra Python-projekt leder till konflikter som är smärtsamma att felsöka.
# Skapa och aktivera miljön
python -m venv computer-use-env
source computer-use-env/bin/activate # Linux/Mac
# computer-use-env\Scripts\activate # Windows
# Installera beroenden
pip install openai playwright pillow
# Installera Playwright-webbläsaren
playwright install chromium
Varje paket spelar en distinkt roll: openai tillhandahåller klienten som pratar med modellen, playwright styr webbläsaren och utför åtgärder, och pillow hanterar bildmanipulering vid behov. Det sista kommandot är det som folk oftast glömmer. Utan playwright install chromium installeras paketet men ingen webbläsare laddas ner, vilket får den första körningen att misslyckas.
Ställa in API-nyckeln
Lagra din nyckel i en miljövariabel, aldrig hårdkodad i ett skript. En hemlighet som skrivs i kod hamnar förr eller senare i ett Git-arkiv.
export OPENAI_API_KEY="your-key"
I produktion använder du en hemlighetshanterare. Klienten läser variabeln automatiskt:
from openai import OpenAI
client = OpenAI() # läser OPENAI_API_KEY
Deklarera datorverktyget
En modell styr inte en skärm som standard. Du måste aktivera verktyget computer i begäran och beskriva det förväntade resultatet.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=(
"Check if the Filters panel is open. If not, "
"click Show Filters, then type penguin in the search "
"field. Use the computer tool to interact with the interface."
),
)
print(response.output)
Deklarationen är helt enkelt {"type": "computer"}. Till skillnad från den tidiga förhandsversionen (computer_use_preview) kräver den varken skärmdimensioner eller en miljötyp, och automatisk trunkering behövs inte längre. Koordinaterna som modellen returnerar refererar till skärmdumpen du skickar. Fånga exakt det område du tänker klicka på, i samma skala. Om du ändrar storlek på en skärmdump innan du skickar den måste du konvertera koordinaterna tillbaka innan du agerar.
Konfigurera webbläsaren
På Playwright-sidan kapslar du startlogiken i en funktion som du kan återanvända över olika uppgifter.
from playwright.sync_api import sync_playwright
def launch_browser(width=1280, height=720):
"""Startar en isolerad webbläsare för datoranvändning."""
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True) # False för att se agenten
context = browser.new_context(viewport={"width": width, "height": height})
page = context.new_page()
return pw, browser, page
page.screenshot() fångar vyporten, så modellens koordinater gäller direkt för page.mouse. Alternativet headless=True kör webbläsaren utan grafiskt gränssnitt, vilket är avgörande på en server. Under utveckling sätter du detta till False för att se agenten arbeta. Det är det snabbaste sättet att förstå varför den gör misstag.
Organisera projektet
Separera webbläsarlogik, agentslinga och åtgärdsutförande från början.
computer-use-project/
├── .env # OPENAI_API_KEY (commita aldrig)
├── requirements.txt # openai, playwright, pillow
├── src/
│ ├── __init__.py
│ ├── browser.py # Starta och fånga
│ ├── agent.py # Slinga för datoranvändning
│ └── actions.py # Utförande av åtgärder
└── tasks/
└── example.py # Skript för uppgifter
Verifiera installationen
Bygg inte ett komplext flöde på en ovaliderad konfiguration. Om den första körningen misslyckas vet du inte om problemet ligger hos nyckeln, webbläsaren eller din prompt. Detta minimala skript testar hela kedjan: klient, webbläsare, fångst och bildöverföring till modellen.
import base64
from openai import OpenAI
from playwright.sync_api import sync_playwright
def test_installation():
"""Verifierar att nyckel, webbläsare och bilduppladdning fungerar."""
client = OpenAI()
pw = sync_playwright().start()
browser = pw.chromium.launch(headless=True)
page = browser.new_page(viewport={"width": 1280, "height": 720})
page.goto("https://example.com")
capture = base64.b64encode(page.screenshot()).decode("utf-8")
response = client.responses.create(
model="gpt-6.1-sol",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "Describe what you see."},
{"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
],
}],
)
print("Response:", response.output_text)
browser.close()
pw.stop()
if __name__ == "__main__":
test_installation()
Om konsolen visar en beskrivning av sidan example.com är din konfiguration klar och du kan fortsätta att bygga en fullständig agent.
Viktiga punkter
- Installera
openai,playwrightochpillowi en dedikerad virtuell miljö och kör sedanplaywright install chromium - Behåll
OPENAI_API_KEYi en miljövariabel, aldrig i koden - Deklarera verktyget med
tools=[{"type": "computer"}]med en modell som stöds (OpenAIs exempel användergpt-6.1-sol) - Modellens koordinater refererar till den skickade skärmdumpen: fånga området du agerar på i samma skala
- Testa alltid med ett minimalt skript innan du bygger komplexa flöden