Αρχιτεκτονική: Στιγμιότυπα οθόνης, Ενέργειες και ο Βρόχος Αλληλεπίδρασης
Σε αυτήν τη σελίδα
Μάθημα αναθεωρημένο στις 3 Νοεμβρίου 2026 με βάση τον οδηγό Computer use της OpenAI και τις συνταγές ενσωμάτωσης Computer use: Αυτό το μάθημα βασιζόταν προηγουμένως στο API της Anthropic (
import anthropic, εργαλείοcomputer_20241022). Τώρα χρησιμοποιεί το εργαλείοcomputerτου Responses API της OpenAI, με τις ενέργειες ομαδοποιημένες σε έναcomputer_callκαι τα στιγμιότυπα οθόνης να επιστρέφονται μέσωcomputer_call_output. Έχουμε αφαιρέσει τους μη τεκμηριωμένους αριθμούς tokens και τις εκτιμήσεις διάρκειας από την προηγούμενη έκδοση. Πηγές: Computer use · Συνταγές ενσωμάτωσης.
Ο βρόχος αντίληψης-δράσης
Η entire αρχιτεκτονική του Computer Use ανάγεται σε έναν μοναδικό κύκλο: παρατήρηση → απόφαση → δράση → παρατήρηση. Μέχρις ότου αυτός ο κύκλος γίνει σαφής στο μυαλό σας, οι αυτοματοποιήσεις σας θα παραμείνουν ασταθείς· μόλις το κατανοήσετε, τα υπόλοιπα είναι απλώς τεχνικές λεπτομέρειες υλοποίησης.
Η διαφορά από ένα σενάριο Selenium έγκειται στο πού resides η γνώση. Το Selenium εκτελεί τυφλά μια προκαθορισμένη ακολουθία: κλικ εδώ, μετά εκεί, μετά πληκτρολόγηση αυτού. Το Computer Use επιλέγει το επόμενο βήμα μόνο αφού δει το αποτέλεσμα του προηγούμενου. Εμφανίζεται ένα αναδυόμενο παράθυρο, μια σελίδα φορτώνει πιο αργά ή η ετικέτα ενός κουμπιού αλλάζει μέσα στη νύχτα: και στις τρεις περιπτώσεις, το μοντέλο βλέπει την πραγματική κατάσταση και προσαρμόζεται, ενώ το σενάριο συνεχίζει να απαγγέλλει στο κενό.
Με το εργαλείο computer της OpenAI, η ανταλλαγή πραγματοποιείται σε τρία βήματα: στέλνετε την εργασία, εκτελείτε τις ενέργειες που επιστρέφει το μοντέλο και στη συνέχεια στέλνετε πίσω ένα στιγμιότυπο οθόνης. Η εφαρμογή σας κρατά το ποντίκι και το πληκτρολόγιο· το μοντέλο λαμβάνει μόνο τις αποφάσεις.
Το σημείο εκκίνησης: το στιγμιότυπο οθόνης
Κάθε γύρος βασίζεται σε μια εικόνα της τρέχουσας κατάστασης της οθόνης. Αυτό το στιγμιότυπο προέρχεται από έναν browser που ελέγχεται από το Playwright—η πιο συνηθισμένη περίπτωση για αυτοματοποίηση web—από μια εικονική επιφάνεια εργασίας κατά την αυτοματοποίηση μιας εφαρμογής desktop, ή από ένα container Docker που απομονώνει τον πράκτορα. Η OpenAI συνιστά τη χρήση απομονωμένου browser ή εικονικής μηχανής σε όλες τις περιπτώσεις.
import base64
def capture_screen(page) -> str:
"""Λήψη στιγμιότυπου οθόνης με το Playwright και επιστροφή της εικόνας PNG ως base64."""
return base64.b64encode(page.screenshot()).decode("utf-8")
Το στιγμιότυπο επιστρέφεται στο μοντέλο ως data URL PNG. Μετράει ως είσοδος εικόνας, επομένως επηρεάζει το κόστος κάθε γύρου: το μέγεθος του παραθύρου που καταγράφετε είναι μια πραγματική παράμετρος σχεδιασμού.
Ανάλυση και απόφαση
Το μοντέλο λαμβάνει την εργασία, το ιστορικό συνομιλίας και το τελευταίο στιγμιότυπο οθόνης. Η απάντησή του δεν είναι μια πρόταση, αλλά ένα στοιχείο computer_call, το οποίο μεταφέρει μια διατεταγμένη λίστα ενεργειών προς εκτέλεση. Ακολουθεί ένα παράδειγμα από την τεκμηρίωση της OpenAI που επιλέγει ένα πεδίο αναζήτησης και στη συνέχεια πληκτρολογεί μια λέξη:
{
"type": "computer_call",
"call_id": "call_002",
"actions": [
{ "type": "click", "button": "left", "x": 405, "y": 157 },
{ "type": "type", "text": "penguin" }
],
"status": "completed"
}
Δύο λεπτομέρειες έχουν σημασία. Η πρώτη κλήση μπορεί να περιέχει μόνο μια ενέργεια screenshot: το μοντέλο ζητά να δει την οθόνη πριν δράσει, και εσείς επιστρέφετε ένα στιγμιότυπο χωρίς να αλλάξετε τίποτα. Επίσης, το status: "completed" σημαίνει ότι το μοντέλο έχει ολοκληρώσει τη δημιουργία της κλήσης, όχι ότι οι ενέργειες έχουν εκτελεστεί: η εκτέλεσή τους εναπόκειται σε εσάς.
Το ρεπερτόριο ενεργειών
Το λεξιλόγιο που είναι διαθέσιμο στο μοντέλο είναι σκόπιμα περιορισμένο· συνδυασμένες, αυτές οι πρωτόγονες λειτουργίες καλύπτουν τα περισσότερα από όσα κάνει ένας άνθρωπος με ποντίκι και πληκτρολόγιο.
| Ενέργεια | Περιγραφή | Πεδία |
|---|---|---|
click | Κλικ σε μια θέση | x, y, button (left, right, wheel, back, forward) |
double_click | Διπλό κλικ | x, y |
drag | Σύρσιμο κατά μήκος μιας διαδρομής | path (λίστα σημείων) |
move | Μετακίνηση του δείκτη | x, y |
scroll | Κύλιση | x, y, scroll_x, scroll_y |
keypress | Πλήκτρο ή συνδυασμός | keys (π.χ. ["CTRL", "A"]) |
type | Πληκτρολόγηση κειμένου | text |
wait | Αναμονή φόρτωσης σελίδας | — |
screenshot | Αίτημα νέου στιγμιότυπου οθόνης | — |
Η πλήρης ροή
Συνδυάζοντας αυτά τα στοιχεία, δημιουργείται ο ακόλουθος βρόχος, βασισμένος στην τεκμηρίωση της OpenAI. Όσο η απάντηση περιέχει ένα computer_call, εκτελείτε τις ενέργειές του, καταγράφετε την οθόνη και επιστρέφετε το στιγμιότυπο σε ένα computer_call_output που επαναχρησιμοποιεί το ίδιο call_id· το previous_response_id συνδέει κάθε γύρο με τον προηγούμενο.
from openai import OpenAI
client = OpenAI()
def computer_use_loop(page, task: str):
"""Βρόχος Computer Use με το εργαλείο computer από το Responses API."""
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
input=task,
)
while True:
call = next(
(item for item in response.output if item.type == "computer_call"),
None,
)
if call is None:
return response.output_text # δεν ζητούνται άλλες ενέργειες: η εργασία ολοκληρώθηκε
execute_actions(page, call.actions) # ο διαχειριστής ενεργειών σας (Μάθημα 4)
screenshot = capture_screen(page)
response = client.responses.create(
model="gpt-6.1-sol",
tools=[{"type": "computer"}],
previous_response_id=response.id,
input=[{
"type": "computer_call_output",
"call_id": call.call_id,
"output": {
"type": "computer_screenshot",
"image_url": f"data:image/png;base64,{screenshot}",
"detail": "original",
},
}],
)
Αυτός ο βρόχος δεν διαθέτει ακόμη δικλείδες ασφαλείας: στην παραγωγή, περιορίστε τον αριθμό των γύρων, τη διάρκεια και το κόστος· σταματήστε εάν μια κλήση περιλαμβάνει εκκρεμείς ελέγχους ασφαλείας (pending_safety_checks)· και επαληθεύστε το πραγματικό αποτέλεσμα αντί να εμπιστεύεστε μόνο το τελικό μήνυμα του μοντέλου. Αυτές είναι οι οδηγίες ασφαλείας της OpenAI, οι οποίες καλύπτονται στο Μάθημα 12.
Κόστος ενός γύρου βρόχου
Κάθε αίτημα στο Responses API χρεώνει tokens εισόδου και εξόδου, και κάθε στιγμιότυπο οθόνης μετράει ως είσοδος εικόνας· ένα φιλοξενούμενο περιβάλλον μπορεί να χρεώνεται ξεχωριστά. Το κόστος μιας εργασίας εξαρτάται επομένως από τον αριθμό των γύρων, το μέγεθος του στιγμιότυπου και το μοντέλο—και αυξάνεται ταχύτερα από τον αριθμό των γύρων, επειδή ακόμη και με το previous_response_id, όλα τα tokens εισόδου από προηγούμενες απαντήσεις στην αλυσίδα χρεώνονται εκ νέου ως είσοδος σε κάθε αίτημα. Η OpenAI παρέχει έναν υπολογιστή κόστους εικόνας και εκθέτει τη χρήση για κάθε αίτημα: μετρήστε στις δικές σας ροές εργασίας πριν κάνετε προϋπολογισμό. Ένα σενάριο Selenium θα κάνει πάντα το ίδιο πράγμα γρηγορότερα και φθηνότερα—but θα πρέπει να το ξαναγράψετε την επόμενη φορά που θα αλλάξει η φόρμα, κάτι που ο πράκτορας δεν απαιτεί.
Βασικά σημεία
- Ο βρόχος εργασία → ενέργειες → στιγμιότυπο οθόνης είναι η καρδιά του Computer Use· η εφαρμογή σας εκτελεί τις ενέργειες
- Με την OpenAI, δηλώστε το εργαλείο με
tools=[{"type": "computer"}]στο Responses API - Ένα
computer_callμεταφέρει μια διατεταγμένη λίστα ενεργειών (click,type,scroll,keypress, κ.λπ.) προς εκτέλεση με σειρά - Το στιγμιότυπο οθόνης επιστρέφεται στο μοντέλο σε ένα
computer_call_outputμε το ίδιοcall_id, αλυσοδεμένο μέσωprevious_response_id - Κάθε γύρος κοστίζει tokens και μια εικόνα: περιορίστε τους γύρους και μετρήστε πριν κάνετε προϋπολογισμό