Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Konfigurera datoranvändning i API:t

Lektion 3 av 14 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Förutsättningar
  2. Installera beroenden
  3. Ställa in API-nyckeln
  4. Deklarera datorverktyget
  5. Konfigurera webbläsaren
  6. Organisera projektet
  7. Verifiera installationen
  8. Viktiga punkter

Lektionen omskriven den 3 november 2026 baserat på OpenAIs guide Computer use och Computer use integration recipes: konfigurationen använder nu openai-SDK:t, miljövariabeln OPENAI_API_KEY och verktyget {"type": "computer"} i Responses API. Den förlitar sig inte längre på Anthropic SDK eller det äldre verktyget computer_20241022. OpenAIs verktyg kräver inga skärmdimensioner; koordinaterna refererar till skärmdumpen du tillhandahåller. Källor: Computer use · Integration recipes.

Förutsättningar

Innan du skriver en enda rad kod behöver din arbetsstation fyra saker: en ny version av Python 3, ett OpenAI-konto med en aktiv API-nyckel och åtkomst till en modell som stöder verktyget computer, en Chromium-webbläsare som styrs av Playwright för webbinteraktioner, samt Docker om du planerar att isolera agenten. Docker är valfritt medan du lär dig, men OpenAI rekommenderar en isolerad webbläsare eller virtuell maskin så snart agenten interagerar med något annat än en demosajt.

För modellen använder OpenAIs dokumentation gpt-6.1-sol i sina exempel för verktyget computer. Kontrollera modellkortet (under Tools) för att bekräfta att datoranvändning listas och att ditt projekt har åtkomst.

Installera beroenden

Arbeta i en dedikerad virtuell miljö. En agent för datoranvändning låser specifika versioner av Playwright och dess webbläsare. Att blanda dessa med dina andra Python-projekt leder till konflikter som är smärtsamma att felsöka.

# Skapa och aktivera miljön
python -m venv computer-use-env
source computer-use-env/bin/activate  # Linux/Mac
# computer-use-env\Scripts\activate   # Windows

# Installera beroenden
pip install openai playwright pillow

# Installera Playwright-webbläsaren
playwright install chromium

Varje paket spelar en distinkt roll: openai tillhandahåller klienten som pratar med modellen, playwright styr webbläsaren och utför åtgärder, och pillow hanterar bildmanipulering vid behov. Det sista kommandot är det som folk oftast glömmer. Utan playwright install chromium installeras paketet men ingen webbläsare laddas ner, vilket får den första körningen att misslyckas.

Ställa in API-nyckeln

Lagra din nyckel i en miljövariabel, aldrig hårdkodad i ett skript. En hemlighet som skrivs i kod hamnar förr eller senare i ett Git-arkiv.

export OPENAI_API_KEY="your-key"

I produktion använder du en hemlighetshanterare. Klienten läser variabeln automatiskt:

from openai import OpenAI

client = OpenAI()  # läser OPENAI_API_KEY

Deklarera datorverktyget

En modell styr inte en skärm som standard. Du måste aktivera verktyget computer i begäran och beskriva det förväntade resultatet.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.1-sol",
    tools=[{"type": "computer"}],
    input=(
        "Check if the Filters panel is open. If not, "
        "click Show Filters, then type penguin in the search "
        "field. Use the computer tool to interact with the interface."
    ),
)
print(response.output)

Deklarationen är helt enkelt {"type": "computer"}. Till skillnad från den tidiga förhandsversionen (computer_use_preview) kräver den varken skärmdimensioner eller en miljötyp, och automatisk trunkering behövs inte längre. Koordinaterna som modellen returnerar refererar till skärmdumpen du skickar. Fånga exakt det område du tänker klicka på, i samma skala. Om du ändrar storlek på en skärmdump innan du skickar den måste du konvertera koordinaterna tillbaka innan du agerar.

Konfigurera webbläsaren

På Playwright-sidan kapslar du startlogiken i en funktion som du kan återanvända över olika uppgifter.

from playwright.sync_api import sync_playwright

def launch_browser(width=1280, height=720):
    """Startar en isolerad webbläsare för datoranvändning."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)  # False för att se agenten
    context = browser.new_context(viewport={"width": width, "height": height})
    page = context.new_page()
    return pw, browser, page

page.screenshot() fångar vyporten, så modellens koordinater gäller direkt för page.mouse. Alternativet headless=True kör webbläsaren utan grafiskt gränssnitt, vilket är avgörande på en server. Under utveckling sätter du detta till False för att se agenten arbeta. Det är det snabbaste sättet att förstå varför den gör misstag.

Organisera projektet

Separera webbläsarlogik, agentslinga och åtgärdsutförande från början.

computer-use-project/
├── .env                  # OPENAI_API_KEY (commita aldrig)
├── requirements.txt      # openai, playwright, pillow
├── src/
│   ├── __init__.py
│   ├── browser.py        # Starta och fånga
│   ├── agent.py          # Slinga för datoranvändning
│   └── actions.py        # Utförande av åtgärder
└── tasks/
    └── example.py        # Skript för uppgifter

Verifiera installationen

Bygg inte ett komplext flöde på en ovaliderad konfiguration. Om den första körningen misslyckas vet du inte om problemet ligger hos nyckeln, webbläsaren eller din prompt. Detta minimala skript testar hela kedjan: klient, webbläsare, fångst och bildöverföring till modellen.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

def test_installation():
    """Verifierar att nyckel, webbläsare och bilduppladdning fungerar."""
    client = OpenAI()

    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=True)
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto("https://example.com")
    capture = base64.b64encode(page.screenshot()).decode("utf-8")

    response = client.responses.create(
        model="gpt-6.1-sol",
        input=[{
            "role": "user",
            "content": [
                {"type": "input_text", "text": "Describe what you see."},
                {"type": "input_image", "image_url": f"data:image/png;base64,{capture}"},
            ],
        }],
    )
    print("Response:", response.output_text)

    browser.close()
    pw.stop()

if __name__ == "__main__":
    test_installation()

Om konsolen visar en beskrivning av sidan example.com är din konfiguration klar och du kan fortsätta att bygga en fullständig agent.

Viktiga punkter

  • Installera openai, playwright och pillow i en dedikerad virtuell miljö och kör sedan playwright install chromium
  • Behåll OPENAI_API_KEY i en miljövariabel, aldrig i koden
  • Deklarera verktyget med tools=[{"type": "computer"}] med en modell som stöds (OpenAIs exempel använder gpt-6.1-sol)
  • Modellens koordinater refererar till den skickade skärmdumpen: fånga området du agerar på i samma skala
  • Testa alltid med ett minimalt skript innan du bygger komplexa flöden