Το API Moderation της OpenAI
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση τον Οδηγό Moderation της OpenAI: προστέθηκε η κατηγορία
illicit(και ηillicit/violent), η οποία έλειπε από τον πίνακα, μαζί με τις κατηγορίες που ισχύουν για εικόνες. Πηγή: Moderation.
Ένα Ενσωματωμένο Εργαλείο Moderation
Η OpenAI παρέχει ένα δωρεάν API Moderation που αναλύει κείμενο για να εντοπίσει δυνητικά επιβλαβές περιεχόμενο. Αυτή είναι η πρώτη γραμμή άμυνας που πρέπει να ενσωματώσετε σε οποιαδήποτε εφαρμογή χρησιμοποιεί μοντέλα της OpenAI, και δεν περιορίζεστε μόνο σε αυτή τη χρήση: καθώς δέχεται ακατέργαστο κείμενο ως είσοδο, μπορείτε επίσης να το χρησιμοποιήσετε για να φιλτράρετε εισόδους που προορίζονται για άλλα μοντέλα. Το γεγονός ότι είναι δωρεάν αλλάζει τον τρόπο που σκέφτεστε το πρόβλημα. Οι συνήθεις συμβιβασμοί—να κάνουμε moderation σε κάθε αίτημα ή μόνο στα ύποπτα;—χάνουν το βάρος τους, καθώς το μόνο κόστος που απομένει είναι η καθυστέρηση (latency).
Τι Επιστρέφει το API
Η βασική κλήση χωράει σε μία γραμμή· η απόκριση είναι αυτή που απαιτεί προσοχή. Το API επιστρέφει τρία διακριτά στοιχεία: μια boolean τιμή flagged που αντικατοπτρίζει την απόφαση της OpenAI, τη λίστα των κατηγοριών που ενεργοποιήθηκαν πραγματικά και, το σημαντικότερο, συνεχείς βαθμολογίες ανά κατηγορία. Αυτές οι βαθμολογίες κάνουν τη διαφορά στην παραγωγή, επειδή σας επιτρέπουν να αποφασίσετε εσείς πού θα τραβήξετε τη γραμμή, αντί να κληρονομήσετε ένα κατώφλι σχεδιασμένο για γενική χρήση.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Αναλύει κείμενο μέσω του API Moderation της OpenAI."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Δοκιμή με διαφορετικούς τύπους περιεχομένου
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
Τα τρία παραδείγματα δοκιμής δεν είναι τυχαία: το πρώτο πρέπει να περάσει, το δεύτερο πρέπει να αποκλειστεί, και το τρίτο—μια απολύτως νόμιμη τεχνική ερώτηση—σας δείχνει πώς συμπεριφέρεται η ροή εργασίας σας όταν αντιμετωπίζει λεξιλόγιο ασφαλείας. Αυτό είναι ακριβώς το είδος του αιτήματος που διαχειρίζεται καθημερινά μια ομάδα κυβερνοασφάλειας.
Εντοπισμένες Κατηγορίες
Το API ταξινομεί το προβληματικό περιεχόμενο κατά μήκος several αξόνων, καθένας από τους οποίους αντιστοιχεί σε έναν διακριτό τύπο βλάβης.
| Category | Description |
|---|---|
| harassment | Harassment, threats, intimidation |
| hate | Hate speech based on identity |
| illicit | Advice or instructions for committing illicit acts |
| self-harm | Self-harm, suicide |
| sexual | Explicit sexual content |
| violence | Graphic violence, threats |
Κάθε κατηγορία διαθέτει επίσης υποκατηγορίες (π.χ. harassment/threatening, illicit/violent, violence/graphic) για πιο λεπτομερή φιλτράρισμα. Με το omni-moderation-latest, μόνο το self-harm και οι παραλλαγές του, το sexual, και το violence (με το violence/graphic) ισχύουν επίσης για εικόνες· οι άλλες κατηγορίες ισχύουν μόνο για κείμενο. Αυτή η κοκκομετρία σας γλιτώνει από χονδροειδείς συμβιβασμούς: μια πλατφόρμα moderation φόρουμ μπορεί να θέλει να αποκλείει το harassment/threatening ενώ ανέχεται την απλή harassment, η οποία καλύπτει πολλές συνηθισμένες διαφωνίες.
Όταν χρειάζεται να επεξεργαστείτε όγκο—για παράδειγμα, αναδρομική ανάλυση ενός ιστορικού συνομιλίας—το API δέχεται μια λίστα και επιστρέφει ένα αποτέλεσμα για κάθε στοιχείο, αποφεύγοντας πολλαπλά ταξίδια δικτύου (network round trips).
def moderate_batch(messages: list[str]) -> list[dict]:
"""Κάνει moderation σε πολλαπλά μηνύματα σε μία κλήση."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Moderation και στα Δύο Άκρα της Ροής Εργασίας
Ένα συνηθισμένο λάθος είναι να κάνετε moderation μόνο στις εισόδους. Αυτό βασίζεται σε μια λανθασμένη διαίσθηση: αν το εισερχόμενο μήνυμα είναι αποδεκτό, τότε και η απόκριση θα είναι επίσης. Ωστόσο, ένα μοντέλο μπορεί να παράγει προβληματικό περιεχόμενο από ένα ουδέτερο αίτημα, ειδικά όταν βασίζεται σε ανακτημένα έγγραφα των οποίων το περιεχόμενο κανείς δεν έχει επαληθεύσει. Η παρακάτω κλάση εφαρμόζει λοιπόν την ίδια αντιμετώπιση και προς τις δύο κατευθύνσεις, προσθέτοντας ένα προσαρμοσμένο κατώφλι που αυστηροποιεί την προεπιλεγμένη απόφαση του API.
class ModerationPipeline:
"""Ροή εργασίας moderation εισόδου + εξόδου για μια εφαρμογή LLM."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Κάνει moderation στο μήνυμα ΠΡΙΝ σταλεί στο μοντέλο."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Κάνει moderation στην απόκριση του μοντέλου ΠΡΙΝ σταλεί στον χρήστη."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Πλήρης ροή: moderation εισόδου, LLM, moderation εξόδου."""
# Βήμα 1: moderation εισόδου
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Το μήνυμά σας δεν μπορεί να επεξεργαστεί. Παρακαλώ διατυπώστε το διαφορετικά."
# Βήμα 2: κλήση στο μοντέλο
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Βήμα 3: moderation εξόδου
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "Η απόκριση φιλτραρίστηκε λόγω μη συμμόρφωσης."
return model_response
# Χρήση
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Τι Δεν Κάνει Αυτό το API
Ο πιο σημαντικός περιορισμός του είναι επίσης ο πιο παρεξηγημένος: δεν εντοπίζει έγχυση prompt (prompt injection). Ένα ευγενικό μήνυμα που είναι απολύτως ακίνδυνο από πλευράς περιεχομένου, αλλά ζητά από το μοντέλο να αγνοήσει τις οδηγίες του, θα περάσει χωρίς να ενεργοποιήσει καμία κατηγορία. Το να περιμένετε να σας προστατεύσει από χειρισμούς είναι σαν να εγκαθιστάτε ανιχνευτή καπνού και να ελπίζετε ότι θα σταματήσει τους διαρρήκτες.
Τα ψευδώς θετικά αποτελέσματα (false positives) είναι ο δεύτερος περιορισμός, ιδιαίτερα ευαίσθητο ζήτημα σε πλαίσια ασφαλείας ή ιατρικής, όπου η περιγραφή μιας απειλής αποτελεί μέρος της εργασίας. Προστίθεται μια επιπλέον κλήση δικτύου σε κάθε αίτημα, κάτι που έχει σημασία όταν στοχεύετε σε αποκρίσεις πραγματικού χρόνου. Ο εντοπισμός παραμένει πιο αξιόπιστος στα Αγγλικά από ό,τι σε άλλες γλώσσες, ένα τυφλό σημείο που οι επιτιθέμενοι γνωρίζουν άριστα. Τέλος, οι κατηγορίες και τα κατώφλια εξελίσσονται με τις ενημερώσεις: ένα σύνολο βαθμονόμησης πριν από έξι μήνες αξίζει επανεπαλήθευση.
Αυτοί οι περιορισμοί υπαγορεύουν τον τρόπο χρήσης του εργαλείου. Κάντε moderation και προς τις δύο κατευθύνσεις, προσαρμόστε τα κατώφλια κατηγορία προς κατηγορία αντί για καθολικά, και συνδυάστε το συστηματικά με άλλα στρώματα—ανίχνευση έγχυσης, φιλτράρισμα επιχειρηματικής λογικής—τα οποία λεπτομερούνται στα επόμενα μαθήματα. Καταγράφετε τα αποτελέσματα, επειδή παρατηρώντας τα δικά σας ψευδώς θετικά αποτελέσματα μαθαίνετε πού να μετακινήσετε τους ρυθμιστές. Και σχεδιάστε για την περίπτωση που το API δεν είναι διαθέσιμο: αποφασίστε τώρα, ενώ τα πράγματα είναι ήρεμα, αν η εφαρμογή σας πρέπει να αποκλείει εξ ορισμού ή να αφήνει την κίνηση να περάσει, αντί να ανακαλύψετε αυτή τη συμπεριφορά κατά τη διάρκεια ενός περιστατικού.
Βασικά σημεία
- Το API Moderation είναι δωρεάν, γρήγορο και απλό στην ενσωμάτωση
- Εντοπίζει προσβλητικό περιεχόμενο αλλά όχι ενέσεις ή jailbreaks
- Η ροή εισόδου-προς-μοντέλο-προς-έξοδο πρέπει να υπόκειται σε moderation και στα δύο άκρα
- Τα προεπιλεγμένα κατώφλια σπάνια ταιριάζουν—προσαρμόστε τα στο πλαίσιο σας
- Αποτελεί ένα στρώμα μεταξύ άλλων, ποτέ τη μοναδική γραμμή άμυνας