Όρια και Βελτιστοποίηση του Vision API
Σε αυτήν τη σελίδα
Γνωρίστε τα όρια για να τα παρακάμψετε
Τα προηγούμενα δέκα μαθήματα κάλυψαν τι κάνει καλά το Vision API. Αυτό το μάθημα καλύπτει πού δυσκολεύεται. Δεν πρόκειται για άσκηση ταπεινοφροσύνης: η διαφορά μεταξύ ενός εντυπωσιακού πρωτοτύπου επίδειξης και μιας εφαρμογής που αντέχει στην παραγωγή έγκειται ακριβώς σε αυτό. Εδώ, θα μάθετε για τους τεχνικούς περιορισμούς, τις κοινές παγίδες—με κυριότερες τις οπτικές ψευδαισθήσεις—και τις στρατηγικές βελτιστοποίησης του κόστους και του λανθάνοντος χρόνου (latency).
Τεχνικοί περιορισμοί
Έχουμε αναφερθεί ξανά στους περιορισμούς μορφής, αλλά ας τους συγκεντρώσουμε. Κάθε εικόνα έχει ανώτατο όριο περίπου 20 MB και θα αλλάξει μέγεθος εσωτερικά ούτως ή άλλως, συνήθως σε 768x768 ή ισοδύναμο: μια εικόνα 4K δεν θα βελτιώσει τα αποτελέσματα. Οι αποδεκτές μορφές είναι JPEG, PNG, GIF (μόνο το πρώτο καρέ) και WebP. Το Vision API δεν υποστηρίζει απευθείας PDF—πρέπει να καλέσετε το Document AI για αυτό, όπως συζητήθηκε στο Μάθημα 8.
Ο πιο δομικός περιορισμός παραμένει η κατανάλωση tokens. Κάθε εικόνα καταναλώνει σημαντικό αριθμό tokens, και αυτή η συνάρτηση μετατρέπει αυτή την εκτίμηση σε δολάρια αντί για αφηρημένες μονάδες:
# Estimate the cost of a vision call
def estimate_cost(num_images=1, text_tokens=100, response_tokens=500,
tokens_per_image=1000, input_price=0.10, output_price=0.30):
"""Estimates the cost in dollars for a vision call (Small 3.2)."""
input_tokens = (num_images * tokens_per_image) + text_tokens
output_tokens = response_tokens
input_cost = (input_tokens / 1_000_000) * input_price
output_cost = (output_tokens / 1_000_000) * output_price
total_cost = input_cost + output_cost
print(f"Input tokens: {input_tokens} (${input_cost:.4f})")
print(f"Output tokens: {output_tokens} (${output_cost:.4f})")
print(f"Total cost: ${total_cost:.4f}")
return total_cost
# 1 image with Small 3.2
estimate_cost(num_images=1)
# 5 images with Large 3
estimate_cost(num_images=5, input_price=2.00, output_price=6.00)
Συγκρίνετε τις δύο κλήσεις στο τέλος του σεναρίου: η δεύτερη κοστίζει δεκάδες φορές περισσότερο από την πρώτη. Πολλαπλασιάστε το με τον ημερήσιο όγκο σας πριν λάβετε απόφαση. Επιπλέον, υπάρχει το όριο του παραθύρου συμφραζομένων (context window), το οποίο δεν πρέπει να υπερβαίνει το άθροισμα εικόνων + prompt + απάνησης—ένα ανώτατο όριο που πολλές εικόνες φτάνουν πολύ γρηγορότερα από ένα μεγάλο κείμενο.
Οπτικές ψευδαισθήσεις
Το μοντέλο μπορεί να «επινοήσει» λεπτομέρειες που απουσιάζουν από την εικόνα. Αυτό είναι το πιο κρίσιμο ζήτημα στην παραγωγή επειδή είναι σιωπηλό: η απάντηση είναι δομημένη σωστά, εύλογη, αλλά λανθασμένη.
Επαναλαμβάνονται τέσσερα μοτίβα. Επινοημένο κείμενο, όπου το μοντέλο διαβάζει μια λέξη που δεν υπάρχει στην εικόνα. Κατά προσέγγιση αριθμοί, όπου οι τιμές που διαβάζονται από ένα διάγραμμα μπορεί να αποκλίνουν 5–15% από την πραγματικότητα. Προστιθέμενες λεπτομέρειες, όπου το μοντέλο συμπληρώνει αυτό που δεν βλέπει καθαρά με εύλογες πληροφορίες—ένας θολός αριθμός SIRET γίνεται ένας τέλεια μορφοποιημένος αλλά ψεύτικος SIRET. Τέλος, σύγχυση στοιχείων, όπου δύο κοντινά αντικείμενα συγχωνεύονται σε ένα.
Υπάρχουν τρία αντίμετρα· συνδυάστε τα ανάλογα με την κρισιμότητα. Πρώτον, αναγκάστε το μοντέλο να βαθμολογήσει τη δική του βεβαιότητα. Δεύτερον, ζητήστε του να ξαναδιαβάσει την εικόνα μετά τη μεταγραφή. Τρίτον, θέστε δύο μοντέλα αντιμέτωπα με την ίδια ερώτηση και κρατήστε μόνο όσα συμφωνούν.
# 1. Ask for a confidence level
prompt_confiance = """Analyze this image. For each piece of extracted information, indicate your confidence level:
- [CERTAIN]: clearly visible
- [PROBABLE]: partially visible or inferred
- [INCERTAIN]: barely legible, estimated
If an element is illegible, mark it [ILLISIBLE] rather than guessing."""
# 2. Ask for cross-verification
prompt_verification = """Read the text in this document. After transcribing, reread the image and verify every number and proper noun. Correct any detected errors."""
# 3. Double reading with two models
def double_verification(image_uri, question):
"""Sends the same image to two models and compares results."""
resultats = {}
for modele in ["mistral-small-latest", "mistral-large-latest"]:
response = client.chat.complete(
model=modele,
messages=[{
"role": "user",
"content": [
{"type": "text", "text": question},
{"type": "image_url", "image_url": image_uri}
]
}]
)
resultats[modele] = response.choices[0].message.content
return resultats
Η διπλή ανάγνωση διπλασιάζει το κόστος: κρατήστε την για ποσά, αναγνωριστικά και οτιδήποτε ενεργοποιεί μια μη αναστρέψιμη ενέργεια.
Βελτιστοποίηση κόστους
Η πιο αποδοτική βελτιστοποίηση κόστους καλύφθηκε στο Μάθημα 5, και είναι η απλούστερη: μειώστε το μέγεθος της εικόνας πριν την αποστολή. Μια φωτογραφία 6 MB που αλλάζει μέγεθος σε 1024 pixels δεν χάνει τίποτα για σκοπούς ανάλυσης και ελαφρύνει ολόκληρη την αλυσίδα.
from PIL import Image
from io import BytesIO
import base64
def optimiser_image(chemin, taille_max=1024, qualite=80):
"""Resizes and compresses an image for the Vision API."""
img = Image.open(chemin)
taille_originale = img.size
# Resize
if max(img.size) > taille_max:
img.thumbnail((taille_max, taille_max))
# Compress as JPEG
buffer = BytesIO()
img.convert("RGB").save(buffer, format="JPEG", quality=qualite)
taille_fichier = buffer.tell()
b64 = base64.standard_b64encode(buffer.getvalue()).decode("utf-8")
print(f"Original: {taille_originale} | Optimized: {img.size} | Size: {taille_fichier/1024:.0f} KB")
return f"data:image/jpeg;base64,{b64}"
Ακολουθεί η δρομολόγηση βάσει πολυπλοκότητας: όχι κάθε εργασία αξίζει το πιο ακριβό μοντέλο. Μια συνάρτηση τριών γραμμών αρκεί για να αποφασίσετε, υπό την προϋπόθεση ότι έχετε ταξινομήσει τις εργασίες σας εκ των προτέρων.
def choose_model(task):
"""Selects the optimal model based on the task."""
simple_tasks = ["classification", "ocr_simple", "description", "triage"]
complex_tasks = ["extraction_json", "comparaison", "analyse_graphique", "raisonnement"]
if task in simple_tasks:
return "mistral-small-latest" # ~$0.10/M tokens
else:
return "mistral-large-latest" # ~$2.00/M tokens
Ο τρίτος μοχλός είναι ο πιο συχνά ξεχασμένος: μην πληρώνετε δύο φορές για την ίδια ανάλυση. Στην παραγωγή, η ίδια εικόνα επιστρέφει πιο συχνά από όσο νομίζετε—επαναεκτέλεση διαδικασίας, διπλές αποστολές ή επαναδοκιμή μετά από incident. Μια cache δίσκου ευρετηριασμένη στο hash του αρχείου και το prompt εξαλείφει αυτές τις πλεονάζουσες κλήσεις.
import hashlib
import json
from pathlib import Path
CACHE_DIR = Path("cache_vision/")
CACHE_DIR.mkdir(exist_ok=True)
def analyser_avec_cache(image_path, prompt, modele="mistral-small-latest"):
"""Analyzes an image with disk caching."""
# Generate a cache key
with open(image_path, "rb") as f:
image_hash = hashlib.md5(f.read()).hexdigest()
cache_key = hashlib.md5(f"{image_hash}{prompt}{modele}".encode()).hexdigest()
cache_file = CACHE_DIR / f"{cache_key}.json"
# Check cache
if cache_file.exists():
return json.loads(cache_file.read_text())
# API call
response = client.chat.complete(
model=modele,
messages=[{
"role": "user",
"content": [
{"type": "text", "text": prompt},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}]
)
resultat = response.choices[0].message.content
# Save to cache
cache_file.write_text(json.dumps(resultat, ensure_ascii=False))
return resultat
Το κλειδί περιλαμβάνει το prompt και το μοντέλο, όχι μόνο την εικόνα: η αλλαγή της ερώτησης στην ίδια φωτογραφία πρέπει όντως να ενεργοποιήσει νέα κλήση.
Βελτιστοποίηση λανθάνοντος χρόνου (Latency)
Για μια διαδραστική εφαρμογή, τέσσερις ρυθμίσεις επηρεάζουν τον αντιληπτό χρόνο απόκρισης. Αλλάξτε το μέγεθος των εικόνων στην πλευρά του πελάτη σε μέγιστο 1024 pixels, γεγονός που μειώνει τον χρόνο μεταφόρτωσης. Επιλέξτε Small ή Ministral, καθώς η δημιουργία τους είναι σημαντικά γρηγορότερη. Περάστε εικόνες μέσω URL όταν είναι ήδη φιλοξενούμενες για να αποφύγετε την αποστολή ενός μεγάλου σώματος αιτήματος Base64. Τέλος, ενεργοποιήστε τη ροή (streaming), η οποία δεν μειώνει τον συνολικό χρόνο αλλά εμφανίζει την απάντηση καθώς δημιουργείται:
# Streaming for a progressive response
stream = client.chat.stream(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image."},
{"type": "image_url", "image_url": image_url}
]
}]
)
for chunk in stream:
if chunk.data.choices[0].delta.content:
print(chunk.data.choices[0].delta.content, end="", flush=True)
Είναι το chat.stream που αντικαθιστά το chat.complete· το υπόλοιπο μήνυμα είναι ακριβώς το ίδιο.
Λίστα ελέγχου για την παραγωγή
Πριν αναπτύξετε μια εφαρμογή Vision στην παραγωγή, επαληθεύστε καθένα από τα ακόλουθα σημεία:
- Αυτόματη αλλαγή μεγέθους εικόνας (μέγιστο 1024px)
- Επικύρωση μορφής και μεγέθους πριν την αποστολή
- Διαχείριση σφαλμάτων API (επαναδοκιμή, χρονικό όριο, εναλλακτική λύση)
- Αποθήκευση αποτελεσμάτων στην cache για πανομοιότυπες εικόνες
- Έξυπνη δρομολόγηση (Small για απλές, Large για σύνθετες)
- Παρακολούθηση κόστους και λανθάνοντος χρόνου
- Δοκιμή με εικόνες χαμηλής ποιότητας (θολές, χαμηλής ανάλυσης, περιστραμμένες)
- Στρατηγική κατά των ψευδαισθήσεων (επίπεδα βεβαιότητας, διπλή επαλήθευση)
Το προτελευταίο σημείο είναι αυτό που παραλείπεται συχνότερα και προκαλεί τις περισσότερες ζημιές: δημιουργήστε ένα σύνολο δεδομένων με σκόπιμα κακές εικόνες και εκτελέστε το πριν από κάθε ανάπτυξη.
Βασικά σημεία
- Οι εικόνες αλλάζουν μέγεθος εσωτερικά—δεν χρειάζεται να στείλετε πολύ υψηλή ανάλυση
- Οι οπτικές ψευδαισθήσεις είναι ο κύριος κίνδυνος—ζητήστε επίπεδα βεβαιότητας
- Η αλλαγή μεγέθους στην πλευρά του πελάτη είναι η πιο αποδοτική βελτιστοποίηση κόστους
- Η δρομολόγηση βάσει πολυπλοκότητας (Small vs Large) μειώνει το κόστος κατά 90% σε απλές εργασίες
- Η cache δίσκου αποφεύγει τις πλεονάζουσες κλήσεις API στις ίδιες εικόνες