Μετριασμός περιεχομένου σε μεγάλη κλίμακα
Σε αυτήν τη σελίδα
Μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση την τεκμηρίωση της OpenAI: οι παράμετροι
temperatureκαιtop_pγίνονται δεκτοί μόνο με προσπάθεια συλλογισμού (reasoning effort) ίση μεnone, ενώ τα μοντέλα GPT-5.6 πραγματοποιούν συλλογισμό από προεπιλογή (medium). Επομένως, οι κλήσεις που ορίζουν αυτές τις παραμέτρους πρέπει να προσδιορίζουνreasoning={"effort": "none"}(Responses API) ήreasoning_effort="none"(Chat Completions). Πηγές: Χρήση του GPT-6 · GPT-5.6 Terra.
Προστασία των χρηστών σας σε περιβάλλον παραγωγής
Μόλις η εφαρμογή σας τεθεί σε λειτουργία, πρέπει να διαχειρίζεστε ακατάλληλο περιεχόμενο—τόσο στην είσοδο (κακόβουλα prompts) όσο και στην έξοδο (προβληματικές απαντήσεις). Αυτή η αμφίδρομη απαίτηση συχνά αιφνιδιάζει τις ομάδες. Οι περισσότεροι σκέφτονται πρώτα τον φιλτράρισμα του περιεχομένου που στέλνουν οι χρήστες, αλλά ο κίνδυνος για τη φήμη σας εστιάζεται σε ό,τι η εφαρμογή σας δημοσιεύει υπό το όνομά σας. Ένα καλά ευθυγραμμισμένο μοντέλο σπάνια παράγει από μόνο του σοκαριστικό περιεχόμενο, αλλά μπορεί να το κάνει αν πιεστεί—και το brand σας εμφανίζεται στην κορυφή του screenshot.
Θα μεταβούμε από μια απλή κλήση API σε μια ασύγχρονη διοχέτευση (pipeline) υψηλής απόδοσης, κλιμακώνοντας βήμα προς βήμα.
Το πρώτο στρώμα: το API Moderations
Το API Moderations κατηγοριοποιεί το κείμενο σε διάφορες κατηγορίες κινδύνου και επιστρέφει τόσο μια δυαδική ετυμηγορία όσο και αναλυτικές βαθμολογίες. Είναι γρήγορο και δωρεάν, καθιστώντας το το φυσικό πρώτο φίλτρο για οποιαδήποτε δημόσια εφαρμογή. Η παρακάτω συνάρτηση εμφανίζει μόνο κατηγορίες με βαθμολογίες άνω του 0,3—ένα σκόπιμα χαμηλό όριο. Σε αυτό το στάδιο, θέλετε να δείτε τι πλησιάζει το όριο, όχι μόνο τι το ξεπερνά.
import openai
client = openai.OpenAI()
def moderate_content(text: str) -> dict:
"""Έλεγχος εάν το κείμενο περιέχει ακατάλληλο περιεχόμενο."""
response = client.moderations.create(
model="omni-moderation-latest",
input=text,
)
result = response.results[0]
return {
"flagged": result.flagged,
"categories": {
cat: score
for cat, score in result.category_scores.__dict__.items()
if score > 0.3
},
}
# Παράδειγμα
result = moderate_content("How do I bake a chocolate cake?")
print(f"Flagged: {result['flagged']}")
Σε περιβάλλον παραγωγής, μια δυαδική ετυμηγορία δεν αρκεί. Ανάλογα με το περιεχόμενο και το πλαίσιο, μπορεί να θέλετε να το επιτρέψετε, να το ξαναγράψετε, να το αποκλείσετε ή να το κλιμακώσετε σε άνθρωπο—τέσσερις διακριτές αποφάσεις που πρέπει να ονομάσετε ρητά στον κώδικα αντί να αυτοσχεδιάζετε με boolean τιμές. Η παρακάτω διοχέτευση τυποποιεί αυτές τις ενέργειες, εφαρμόζει κατώφλια ανά κατηγορία και προσθέτει ένα δεύτερο στρώμα για την ανίχνευση έγχυσης prompt (prompt injection).
from enum import Enum
from dataclasses import dataclass
class ModerationAction(Enum):
ALLOW = "allow"
MODIFY = "modify"
BLOCK = "block"
ESCALATE = "escalate"
@dataclass
class ModerationResult:
action: ModerationAction
reason: str | None = None
modified_content: str | None = None
class ModerationPipeline:
"""Διοχέτευση μετριασμού πολλαπλών στρωμάτων."""
def __init__(self, thresholds: dict | None = None):
self.thresholds = thresholds or {
"harassment": 0.7,
"hate": 0.7,
"self-harm": 0.5,
"sexual": 0.7,
"violence": 0.7,
}
def moderate_input(self, text: str) -> ModerationResult:
"""Μετριασμός περιεχομένου εισόδου (prompt χρήστη)."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=text,
)
result = moderation.results[0]
if result.flagged:
problematic_categories = [
cat for cat, flagged in result.categories.__dict__.items()
if flagged
]
return ModerationResult(
action=ModerationAction.BLOCK,
reason=f"Inappropriate content: {', '.join(problematic_categories)}",
)
# Ανίχνευση έγχυσης prompt
if self._detect_injection(text):
return ModerationResult(
action=ModerationAction.BLOCK,
reason="Prompt injection attempt detected",
)
return ModerationResult(action=ModerationAction.ALLOW)
def moderate_output(self, response: str) -> ModerationResult:
"""Μετριασμός περιεχομένου εξόδου (απάντηση LLM)."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=response,
)
if moderation.results[0].flagged:
return ModerationResult(
action=ModerationAction.BLOCK,
reason="Generated response contains inappropriate content",
)
return ModerationResult(action=ModerationAction.ALLOW)
def _detect_injection(self, text: str) -> bool:
"""Ανίχνευση απόπειρων έγχυσης prompt."""
markers = [
"ignore previous instructions",
"ignore your instructions",
"forget your guidelines",
"you are now",
"new role",
"system prompt",
"jailbreak",
]
text_lower = text.lower()
return any(m in text_lower for m in markers)
Το κατώφλι 0,5 για την κατηγορία self-harm—αυστηρότερο από το 0,7 που χρησιμοποιείται για άλλες κατηγορίες—επιδεικνύει τη συλλογιστική που πρέπει να εφαρμόζετε σε κάθε κατώφλι. Εδώ, το κόστος ενός ψευδώς θετικού αποτελέσματος δεν συγκρίνεται με το κόστος ενός ψευδώς αρνητικού, οπότε χαμηλώνετε τον πήχη. Κάντε αυτή την ανταλλαγή κατηγορία προς κατηγορία, με βάση το κοινό σας, αντί να εφαρμόζετε μια ενιαία τιμή.
Η ανίχνευση έγχυσης βάσει δεικτών (markers) έχει μια επιφύλαξη. Εντοπίζει αφελείς απόπειρες, οι οποίες αποτελούν τον όγκο των περιπτώσεων, και τίποτα περισσότερο: μια ελαφρώς διαφορετική διατύπωση ή μια μεταφρασμένη εκδοχή θα περάσει απαρατήρητη. Αντιμετωπίστε το ως φίλτρο θορύβου, όχι ως άμυνα. Η πραγματική προστασία against injection είναι αρχιτεκτονική—μη δίνετε ποτέ στο μοντέλο δυνατότητες που θα μπορούσε να εκμεταλλευτεί ένα hijacked prompt.
Διαχείριση φόρτου εργασίας
Σε μια εφαρμογή υψηλής κίνησης, ο σύγχρονος μετριασμός γίνεται σημείο συμφόρησης: κάθε μήνυμα περιμένει την ετυμηγορία του πριν υποβληθεί σε επεξεργασία. Ένας ασύγχρονος μετριαστής αποσυνδέει αυτά τα βήματα, θέτοντας το περιεχόμενο σε ουρά για κατανάλωση από πολλαπλούς workers, ενώ ταυτόχρονα παρακολουθεί χρήσιμα στατιστικά στοιχεία.
import asyncio
class AsyncModerator:
"""Ασύγχρονος μετριασμός περιεχομένου για υψηλή απόδοση."""
def __init__(self, num_workers: int = 10):
self.pipeline = ModerationPipeline()
self.queue: asyncio.Queue = asyncio.Queue()
self.num_workers = num_workers
self.stats = {"allowed": 0, "blocked": 0, "escalated": 0}
async def worker(self):
while True:
task = await self.queue.get()
try:
result = self.pipeline.moderate_input(task["text"])
task["callback"](result)
match result.action:
case ModerationAction.ALLOW:
self.stats["allowed"] += 1
case ModerationAction.BLOCK:
self.stats["blocked"] += 1
case ModerationAction.ESCALATE:
self.stats["escalated"] += 1
finally:
self.queue.task_done()
async def start(self):
for _ in range(self.num_workers):
asyncio.create_task(self.worker())
def report(self) -> str:
total = sum(self.stats.values())
if total == 0:
return "No content moderated."
return (
f"Total: {total} | "
f"Allowed: {self.stats['allowed']} ({self.stats['allowed']/total:.1%}) | "
f"Blocked: {self.stats['blocked']} ({self.stats['blocked']/total:.1%})"
)
Ο ρυθμός αποκλεισμού (block rate) που παράγει η report είναι η κύρια μετρική βαθμονόμησής σας. Εάν ξαφνικά εκτοξευθεί στο 15% μετά από λειτουργία στο 0,5%, υπάρχουν μόνο δύο εξηγήσεις: υφίσταστε συντονισμένη επίθεση ή μόλις χαλάσατε τα κατώφλιά σας. Σε κάθε περίπτωση, θέλετε να το μάθετε μέσα στην ώρα, όχι στην επόμενη μηνιαία ανασκόπηση.
Αξίζει να αναφερθεί ένας τελευταίος περιορισμός: το API Moderations δεν γνωρίζει τίποτα για την επιχείρησή σας. Ένα μήνυμα που είναι απολύτως αποδεκτό γενικά μπορεί να παραβιάζει τους δικούς σας κανόνες—αίτημα ιατρικών συμβουλών από έναν τραπεζικό βοηθό, προσπάθεια απόκτησης τιμής εκτός δικτύου ή παράκαμψη μιας διαδικασίας. Ο contextual μετριασμός προσθέτει αυτό το στρώμα υποβάλλοντας το μήνυμα σε ένα μοντέλο με τους ρητούς κανόνες σας, αλλά μόνο αφού το τυπικό φίλτρο το έχει επιτρέψει.
def contextual_moderation(
text: str,
app_context: str,
business_rules: list[str],
) -> ModerationResult:
"""Μετριασμός με επίγνωση του πλαισίου, προσαρμοσμένος στην εφαρμογή."""
pipeline = ModerationPipeline()
standard_result = pipeline.moderate_input(text)
if standard_result.action == ModerationAction.BLOCK:
return standard_result
verification_prompt = (
f"Application context: {app_context}\n\n"
f"Business rules to verify:\n"
+ "\n".join(f"- {r}" for r in business_rules)
+ f"\n\nUser message: {text}\n\n"
"Does the message comply with all rules? "
"Answer yes or no with a brief justification."
)
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=verification_prompt,
max_output_tokens=100,
temperature=0.0,
)
if "no" in response.output_text.lower()[:10]:
return ModerationResult(
action=ModerationAction.BLOCK,
reason=response.output_text,
)
return ModerationResult(action=ModerationAction.ALLOW)
Η σειρά αυτών των δύο ελέγχων έχει σημασία. Το δωρεάν, γρήγορο φίλτρο εκτελείται πρώτο και η κλήση στο πληρωμένο μοντέλο συμβαίνει μόνο για μηνύματα που το περνούν. Σε πραγματική κίνηση, αυτό καλύπτει σχεδόν όλα τα μηνύματα. Το να κάνετε το αντίθετο—να πληρώνετε για κλήση μοντέλου σε περιεχόμενο που το API Moderations θα απέρριπτε σε χιλιοστά του δευτερολέπτου—θα ήταν σπατάλη.
Τήρηση υπερασπίσιμου αρχείου
Μια απόφαση μετριασμού είναι μια απόφαση για την οποία θα λογοδοτήσετε, με τον έναν ή τον άλλον τρόπο. Χρειάζεστε ένα αρχείο καταγραφής (log)—αλλά ένα που δεν θα γίνει ίδιο πρόβλημα. Το σχόλιο στον κώδικα επισημαίνει την πιο σημαντική γραμμή στο αρχείο: καταγράψτε την ενέργεια, τον λόγο και το μήκος, ποτέ το ακατέργαστο κείμενο. Η αποθήκευση μηνυμάτων χρηστών σε αρχείο log σας εκθέτει σε υποχρεώσεις προστασίας δεδομένων πολύ βαρύτερες από την παρεχόμενη υπηρεσία.
import json
import time
from pathlib import Path
class ModerationLog:
"""Καταγραφή όλων των αποφάσεων μετριασμού για σκοπούς ελέγχου."""
def __init__(self, log_path: str = "logs/moderation.jsonl"):
self.path = Path(log_path)
self.path.parent.mkdir(parents=True, exist_ok=True)
def record(
self,
text: str,
result: ModerationResult,
source: str = "input",
):
entry = {
"timestamp": time.time(),
"source": source,
"action": result.action.value,
"reason": result.reason,
"text_length": len(text),
# DO NOT log raw text for privacy
}
with open(self.path, "a") as f:
f.write(json.dumps(entry) + "\n")
Εάν πρέπει οπωσδήποτε να μπορείτε να ανακτήσετε ένα συγκεκριμένο μήνυμα κατά τη διάρκεια μιας διαφοράς, καταγράψτε ένα hash του κειμένου αντί για το ίδιο το κείμενο. Αυτό σας επιτρέπει να επιβεβαιώσετε ότι ένα δεδομένο κομμάτι περιεχομένου ταιριάζει με μια καταγεγραμμένη απόφαση χωρίς να διατηρείτε το περιεχόμενο στο σύστημά σας.
Βασικά σημεία
- Μετριάζετε τόσο τις εισόδους (prompts) όσο και τις εξόδους (απαντήσεις)
- Χρησιμοποιείτε το API Moderations ως το πρώτο, γρήγορο και δωρεάν στρώμα σας
- Προσαρμόζετε τα κατώφλια κατηγορία προς κατηγορία με βάση το πραγματικό κόστος ενός ψευδώς αρνητικού αποτελέσματος
- Προσθέτετε ανίχνευση έγχυσης γνωρίζοντας ότι εντοπίζει μόνο αφελείς απόπειρες
- Καταγράφετε όλες τις αποφάσεις για έλεγχο χωρίς να αποθηκεύετε ακατέργαστο περιεχόμενο