Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Πρώτη ροή εργασίας: πλοήγηση και αλληλεπίδραση

Μάθημα 4 / 14 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Συναρμολόγηση των κομματιών
  2. Ο διαχειριστής ενεργειών
  3. Ο πλήρης βρόχος
  4. Εκκίνηση της ροής εργασίας
  5. Μια επαναχρησιμοποιήσιμη συνάρτηση για το υπόλοιπο μάθημα
  6. Τρεις αποτυχίες που θα συναντήσετε
  7. Βασικά σημεία

Μάθημα ξαναγραμμένο στις 3 Νοεμβρίου 2026 με βάση τον οδηγό Computer use της OpenAI και τις Συνταγές ενσωμάτωσης Computer use: ο πράκτορας χρησιμοποιεί το εργαλείο computer από το Responses API, έναν διαχειριστή ενεργειών μοντελοποιημένο βάσει της τεκμηρίωσης (ομαδοποιημένες ενέργειες, keypress, scroll_x/scroll_y, διαδρομές drag) και αλυσιδωτή σύνδεση μέσω previous_response_id, αντικαθιστώντας κώδικα γραμμένο για το API της Anthropic. Πηγές: Computer use · Συνταγές ενσωμάτωσης.

Συναρμολόγηση των κομματιών

Έχετε τον βρόχο στο μυαλό σας και το περιβάλλον διαμορφωμένο. Τώρα πρέπει να τα ενώσετε σε ένα λειτουργικό πρόγραμμα: έναν πράκτορα που ανοίγει μια διαδικτυακή εγκυκλοπαίδεια, αναζητά έναν όρο, ανοίγει το πρώτο αποτέλεσμα και αναφέρει πίσω τον τίτλο της σελίδας στην οποία έφτασε. Το σενάριο φαίνεται modest, αλλά εμπλέκει τις θεμελιώδεις χειρονομίες—πλοήγηση, πληκτρολόγηση, κλικ, ανάγνωση πληροφοριών—και ό,τι χτίσετε στη συνέχεια θα είναι απλώς μια μακρύτερη παραλλαγή αυτού.

Ο διαχειριστής ενεργειών

Το μοντέλο αποφασίζει, αλλά δεν εκτελεί τίποτα μόνο του: επιστρέφει μια λίστα ενεργειών, και ο κώδικάς σας τις μεταφράζει σε χειρονομίες Playwright, με τη σειρά. Αυτή η συνάρτηση ακολουθεί τον διαχειριστή που δημοσίευσε η OpenAI στις συνταγές ενσωμάτωσής της, απλοποιημένο για έναν browser.

import time

KEYS = {
    "ENTER": "Enter", "RETURN": "Enter", "ESC": "Escape", "ESCAPE": "Escape",
    "TAB": "Tab", "SPACE": "Space", "BACKSPACE": "Backspace", "DELETE": "Delete",
    "UP": "ArrowUp", "DOWN": "ArrowDown", "LEFT": "ArrowLeft", "RIGHT": "ArrowRight",
    "CTRL": "Control", "CONTROL": "Control", "SHIFT": "Shift", "ALT": "Alt",
    "CMD": "Meta", "META": "Meta",
}
BUTTONS = {"left": "left", "right": "right", "wheel": "middle"}

def execute_actions(page, actions):
    """Executes the actions from a computer_call in order."""
    for action in actions:
        if action.type in ("click", "double_click", "drag", "move", "scroll") and getattr(action, "keys", None):
            raise ValueError("Mouse action with modifier key: not handled here")
        match action.type:
            case "click":
                button = getattr(action, "button", "left")
                if button not in BUTTONS:  # back and forward don't exist in Playwright
                    raise ValueError(f"Unsupported button: {button}")
                page.mouse.click(action.x, action.y, button=BUTTONS[button])
            case "double_click":
                page.mouse.dblclick(action.x, action.y)
            case "drag":
                points = [(p.x, p.y) for p in action.path]
                page.mouse.move(*points[0])
                page.mouse.down()
                for x, y in points[1:]:
                    page.mouse.move(x, y)
                page.mouse.up()
            case "move":
                page.mouse.move(action.x, action.y)
            case "scroll":
                page.mouse.move(action.x, action.y)
                page.mouse.wheel(action.scroll_x, action.scroll_y)
            case "keypress":
                page.keyboard.press("+".join(KEYS.get(k, k) for k in action.keys))
            case "type":
                page.keyboard.type(action.text)
            case "wait":
                time.sleep(2)
            case "screenshot":
                continue  # screenshot is taken after each batch of actions
            case _:
                raise ValueError(f"Unsupported action: {action.type}")

Δύο επιλογές αξίζουν εξήγηση. Τα ονόματα πλήκτρων και κουμπιών που επιστρέφει το μοντέλο (ENTER, CTRL, wheel…) δεν είναι αυτά που περιμένει το Playwright (Enter, Control, middle…): οι πίνακες αντιστοίχισης, παρμένοι από την τεκμηρίωση, γεφυρώνουν το χάσμα, και τα κουμπιά back και forward, τα οποία το API μπορεί επίσης να ζητήσει, απορρίπτονται όπως στον διαχειριστή της OpenAI. Και μια άγνωστη ενέργεια εγείρει σφάλμα αντί να αγνοείται σιωπηλά: μια απότομη διακοπή είναι προτιμότερη από έναν πράκτορα που νομίζει ότι ενήργησε ενώ δεν το έκανε.

Ο πλήρης βρόχος

Ο πράκτορας orchestrate στη συνέχεια τον κύκλο. Η πρώτη κλήση στέλνει την εργασία· αν περιέχει μόνο αίτημα για screenshot, απλώς επιστρέφετε την οθόνη. Κάθε screenshot επιστρέφει στο μοντέλο ως αποτέλεσμα της κλήσης που το ζήτησε, αναφερόμενο μέσω του call_id του, και το previous_response_id συνδέει τους γύρους μεταξύ τους.

import base64

from openai import OpenAI
from playwright.sync_api import sync_playwright

client = OpenAI()
MODEL = "gpt-6.1-sol"
MAX_TURNS = 15

def launch_agent(task: str, start_url: str = "https://en.wikipedia.org"):
    """Launches a Computer Use agent on a given task."""
    pw = sync_playwright().start()
    browser = pw.chromium.launch(headless=False)  # False to observe
    page = browser.new_page(viewport={"width": 1280, "height": 720})
    page.goto(start_url)
    page.wait_for_load_state("networkidle")

    try:
        response = client.responses.create(
            model=MODEL, tools=[{"type": "computer"}], input=task,
        )
        for turn in range(MAX_TURNS):
            call = next((i for i in response.output if i.type == "computer_call"), None)
            if call is None:
                print(f"Task complete: {response.output_text}")
                return response.output_text

            if call.pending_safety_checks:  # see lesson 12
                raise RuntimeError("Pending safety checks: human intervention required")
            for action in call.actions:
                print(f"  Action: {action.type}")
            execute_actions(page, call.actions)
            screenshot = base64.b64encode(page.screenshot()).decode("utf-8")

            response = client.responses.create(
                model=MODEL,
                tools=[{"type": "computer"}],
                previous_response_id=response.id,
                input=[{
                    "type": "computer_call_output",
                    "call_id": call.call_id,
                    "output": {
                        "type": "computer_screenshot",
                        "image_url": f"data:image/png;base64,{screenshot}",
                        "detail": "original",
                    },
                }],
            )
        raise RuntimeError("Maximum number of turns reached: check the page state")
    finally:
        browser.close()
        pw.stop()

Τρεις δικλείδες ασφαλείας είναι ήδη ενεργές. Το MAX_TURNS οριοθετεί τον βρόχο: χωρίς αυτό το όριο, ένας αποπροσανατολισμένος πράκτορας θα κατανάλωνε τον προϋπολογισμό σας μέχρι εξαντλήσεως. Μια κλήση με εκκρεμείς ελέγχους ασφαλείας (pending_safety_checks) σταματά τα πάντα, όπως στο επίσημο παράδειγμα της OpenAI: το μάθημα 12 δείχνει πώς να γίνονται επικυρωμένοι από άνθρωπο. Και η κανονική ολοκλήρωση σηματοδοτείται από την απουσία ενός computer_call: το μοντέλο έχει σταματήσει να δρα και σας απαντά, και ανακτάτε τον τίτλο της σελίδας από το output_text.

Εκκίνηση της ροής εργασίας

if __name__ == "__main__":
    launch_agent(
        "Search for 'Computer Use' in Wikipedia's search engine, "
        "open the first result, and give me the title of the page. "
        "Use the computer tool to act on the interface."
    )

Με headless=False, η επίδειξη είναι διδακτική: το παράθυρο ανοίγει, το κλικ πέφτει στο πεδίο αναζήτησης, το κείμενο εμφανίζεται, ο πρώτος σύνδεσμος ανοίγει, και ο τίτλος επιστρέφει στην κονσόλα σας. Παρατηρήστε το να τρέχει δύο ή τρεις φορές πριν προχωρήσετε σε πιο φιλόδοξες εργασίες· θα δείτε ακριβώς πού διστάζει ο πράκτορας και τι πρέπει να καλύψουν οι οδηγίες σας.

Μια επαναχρησιμοποιήσιμη συνάρτηση για το υπόλοιπο μάθημα

Τα επόμενα μαθήματα εργάζονται σε μια ήδη ανοιχτή σελίδα—μετά από σύνδεση, στη μέση μιας ροής εργασίας. Βασίζονται στο run_agent(task, page=page): τον ίδιο βρόχο, εξαγόμενο από το launch_agent, με προαιρετικές instructions που επιστρέφονται σε κάθε γύρο (το μάθημα 5 εξηγεί γιατί).

def run_agent(task: str, page, instructions: str | None = None, max_turns: int = MAX_TURNS) -> str:
    """Computer Use loop on an already-open page; returns the final message."""
    request = {"model": MODEL, "tools": [{"type": "computer"}]}
    if instructions:
        request["instructions"] = instructions  # to be returned on each request

    response = client.responses.create(**request, input=task)
    for turn in range(max_turns):
        call = next((i for i in response.output if i.type == "computer_call"), None)
        if call is None:
            return response.output_text
        if call.pending_safety_checks:
            raise RuntimeError("Pending safety checks: human intervention required")

        execute_actions(page, call.actions)
        screenshot = base64.b64encode(page.screenshot()).decode("utf-8")
        response = client.responses.create(
            **request,
            previous_response_id=response.id,
            input=[{
                "type": "computer_call_output",
                "call_id": call.call_id,
                "output": {
                    "type": "computer_screenshot",
                    "image_url": f"data:image/png;base64,{screenshot}",
                    "detail": "original",
                },
            }],
        )
    raise RuntimeError("Maximum number of turns reached: check the page state")

Τρεις αποτυχίες που θα συναντήσετε

Ο πράκτορας κάνει συστηματικά κλικ δίπλα στον στόχο του; Ο ένοχος είναι σχεδόν πάντα μια αναντιστοιχία κλίμακας μεταξύ του screenshot που στάλθηκε και της σελίδας στην οποία κάνετε κλικ: screenshot με αλλαγή μεγέθους, ζουμ browser, οθόνη υψηλής πυκνότητας. Οι συντεταγμένες του μοντέλου αναφέρονται στην εικόνα που έλαβε· αν τη μικρύνετε, μετατρέψτε τις συντεταγμένες της προς την αντίθετη κατεύθυνση.

Ο πράκτορας κινείται σε κύκλους και επαναλαμβάνει την ίδια χειρονομία; Το όριο γύρων θα τον σταματήσει τελικά, αλλά είναι καλύτερο να εντοπίσετε τον βρόχο νωρίτερα: αν το ίδιο screenshot επιστρέφει πολλές φορές στη σειρά, ο πράκτορας δεν κάνει πρόοδο, και η διακοπή του σας γλιτώνει περιττές κλήσεις.

Ο πράκτορας δρα σε μια σελίδα που είναι ακόμα κενή; Σε έναν βαρύ ιστότοπο, το page.goto() επιστρέφει πριν ολοκληρωθεί η απόδοση, και το πρώτο screenshot δείχνει μόνο ένα λευκό φόντο. Περιμένετε για αδράνεια δικτύου πριν τραβήξετε την εικόνα:

page.goto(url)
page.wait_for_load_state("networkidle")

Βασικά σημεία

  • Ένας πράκτορας Computer Use συνδυάζει έναν διαχειριστή ενεργειών, έναν βρόχο ελέγχου και αλυσιδωτή σύνδεση αποκρίσεων
  • Η πρώτη κλήση στέλνει την εργασία· κάθε screenshot επιστρέφει σε ένα computer_call_output με το ίδιο call_id
  • Ο διαχειριστής εκτελεί ενέργειες με τη σειρά και απορρίπτει ό,τι δεν ξέρει πώς να κάνει
  • Περιορίζετε πάντα τον αριθμό των γύρων, σταματάτε στα pending_safety_checks και χρησιμοποιείτε headless=False κατά την ανάπτυξη
  • Το run_agent(task, page=page) επαναχρησιμοποιεί αυτόν τον βρόχο για μια ήδη ανοιχτή σελίδα· αυτό χρησιμοποιούν τα επόμενα μαθήματα