Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Διαχείριση Περιεχομένου με το API

Μάθημα 19 / 22 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Διαχείριση Περιεχομένου με το API
  2. Το API Διαχείρισης (Moderation)
  3. Κατηγορίες Διαχείρισης (Moderation)
  4. Πλήρης Ροή Εργασίας Διαχείρισης (Moderation)
  5. Μαζική Διαχείριση (Batch Moderation)
  6. Καταγραφή Διαχείρισης (Moderation Logging)
  7. Βασικά σημεία

Ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση τον Οδηγό Διαχείρισης (Moderation) της OpenAI: οι κατηγορίες illicit και illicit/violent για το μοντέλο omni-moderation-latest έλειπαν από τη λίστα και τον κώδικα. Πηγή: Moderation.

Διαχείριση Περιεχομένου με το API

Το API Διαχείρισης (Moderation) της OpenAI εντοπίζει αυτόματα ακατάλληλο περιεχόμενο. Αποτελεί ένα δωρεάν και απαραίτητο εργαλείο για κάθε εφαρμογή που δέχεται περιεχόμενο δημιουργημένο από χρήστες. Το προηγούμενο μάθημα σας έδειξε πώς να γράφετε προσαρμοσμένα φίλτρα· αυτό εδώ σας παρέχει έναν εκπαιδευμένο ταξινομητή που εντοπίζει ό,τι οι κανονικές εκφράσεις δεν θα πιάναν ποτέ—υπονοούμενες απειλές, έμμεσες προσβολές και υπονοούμενη διατύπωση.

Το API Διαχείρισης (Moderation)

Η κλήση είναι σκόπιμα λιτή: ένα μοντέλο, ένα κείμενο και ένα αποτέλεσμα που ανάγεται σε μια boolean τιμή (boolean). Το πεδίο flagged απαντά στο δυαδικό ερώτημα «Παραβιάζει αυτό το περιεχόμενο τις πολιτικές χρήσης;», ενώ το categories λεπτομερεί ποιες κατηγορίες εμπλέκονται. Δεδομένου ότι αυτό το endpoint είναι δωρεάν, δεν υπάρχει οικονομικός λόγος να το παραλείψετε, ακόμη και σε μεγάλους όγκους.

from openai import OpenAI
client = OpenAI()

# Το API Διαχείρισης (Moderation) είναι ΔΩΡΕΑΝ
moderation = client.moderations.create(
    model="omni-moderation-latest",
    input="Hello, how are you?"
)

result = moderation.results[0]
print(f"Content flagged: {result.flagged}")
print(f"Categories: {result.categories}")

# Result:
# Content flagged: False
# Categories: Categories(harassment=False, hate=False, ...)

Κατηγορίες Διαχείρισης (Moderation)

Πίσω από την boolean τιμή κρύβεται ένα λεπτομερές πλέγμα. Το μοντέλο επιστρέφει μια απόφαση ανά κατηγορία—παρενόχληση, απειλητική παρενόχληση, μίσος, απειλητικό μίσος, οδηγίες για παράνομες πράξεις (με ή χωρίς βία), αυτοτραυματισμός με τις παραλλαγές του (οδηγίες και πρόθεση), σεξουαλικό περιεχόμενο, σεξουαλικό περιεχόμενο που αφορά ανηλίκους, βία και γραφική βία—μαζί με μια βαθμολογία εμπιστοσύνης μεταξύ 0.0 και 1.0 για καθεμία.

Αυτές οι βαθμολογίες έχουν μεγαλύτερη σημασία από την boolean απόφαση όταν θέλετε να βαθμονομήσετε την πολιτική σας. Μια επαγγελματική πλατφόρμα φόρουμ μπορεί να θέλει να αποκλείει στο 0.3 για παρενόχληση, ενώ μια υπηρεσία μυθοπλασίας μπορεί να αποδέχεται το 0.7 για βία. Η συνάρτηση παρακάτω αποκαλύπτει και τα δύο επίπεδα διορατικότητας: τις κατηγορίες που ενεργοποιήθηκαν πραγματικά και τις ακατέργαστες βαθμολογίες για τα δικά σας όρια.

def analyze_moderation(text: str) -> dict:
    """Λεπτομερής ανάλυση διαχείρισης περιεχομένου."""
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=text
    )

    result = moderation.results[0]

    # Διαθέσιμες κατηγορίες
    categories = {
        "harassment": result.categories.harassment,
        "harassment_threatening": result.categories.harassment_threatening,
        "hate": result.categories.hate,
        "hate_threatening": result.categories.hate_threatening,
        "illicit": result.categories.illicit,
        "illicit_violent": result.categories.illicit_violent,
        "self_harm": result.categories.self_harm,
        "self_harm_instructions": result.categories.self_harm_instructions,
        "self_harm_intent": result.categories.self_harm_intent,
        "sexual": result.categories.sexual,
        "sexual_minors": result.categories.sexual_minors,
        "violence": result.categories.violence,
        "violence_graphic": result.categories.violence_graphic,
    }

    # Βαθμολογίες εμπιστοσύνης (0.0 έως 1.0)
    scores = {
        "harassment": result.category_scores.harassment,
        "hate": result.category_scores.hate,
        "self_harm": result.category_scores.self_harm,
        "sexual": result.category_scores.sexual,
        "violence": result.category_scores.violence,
    }

    return {
        "flagged": result.flagged,
        "detected_categories": [k for k, v in categories.items() if v],
        "main_scores": {k: round(v, 4) for k, v in scores.items()},
    }

# Δοκιμή
result = analyze_moderation("Hello everyone!")
print(f"Flagged: {result['flagged']}")
print(f"Scores: {result['main_scores']}")

Πλήρης Ροή Εργασίας Διαχείρισης (Moderation)

Διαχείριση Εισόδων Χρηστών

Ας τυλίξουμε αυτή την κλήση σε ένα επαναχρησιμοποιήσιμο στοιχείο. Το ContentModerator επιστρέφει ένα ρητό ζεύγος—αποδεκτό ή όχι, με τον λόγο—αντί για ένα ακατέργαστο αντικείμενο που κάθε καλών θα έπρεπε να επανερμηνεύσει. Η μετάφραση των κατηγοριών σε σαφή γλώσσα έχει σημασία: αυτό είναι το λεξιλόγιο που θα εμφανίζεται στη διεπαφή και στα αρχεία καταγραφής (logs) σας και πρέπει να είναι κατανοητό από την ανθρώπινη ομάδα διαχείρισης που αναλαμβάνει τη συνέχεια.

class ContentModerator:
    """Διαχειριστής περιεχομένου για εφαρμογές."""

    def __init__(self, custom_threshold: float = 0.5):
        self.client = OpenAI()
        self.threshold = custom_threshold

    def moderate(self, text: str) -> tuple[bool, dict]:
        """Διαχειρίζεται κείμενο. Επιστρέφει (is_acceptable, details)."""
        moderation = self.client.moderations.create(
            model="omni-moderation-latest",
            input=text
        )

        result = moderation.results[0]

        if result.flagged:
            categories = []
            if result.categories.harassment:
                categories.append("harassment")
            if result.categories.hate:
                categories.append("hate speech")
            if result.categories.sexual:
                categories.append("sexual content")
            if result.categories.violence:
                categories.append("violence")
            if result.categories.self_harm:
                categories.append("self-harm")

            return False, {
                "reason": "Inappropriate content detected",
                "categories": categories
            }

        return True, {"reason": "Content acceptable"}

    def moderate_conversation(self, messages: list[str]) -> list[dict]:
        """Διαχειρίζεται μια λίστα μηνυμάτων."""
        results = []
        for msg in messages:
            acceptable, details = self.moderate(msg)
            results.append({
                "message": msg[:50] + "..." if len(msg) > 50 else msg,
                "acceptable": acceptable,
                **details
            })
        return results

# Χρήση
moderator = ContentModerator()
acceptable, details = moderator.moderate("Hello, how can I help you?")
print(f"Acceptable: {acceptable}")
print(f"Details: {details}")

Ενσωμάτωση στη Ροή Εργασίας του API

Η διαχείριση περιεχομένου πλαισιώνει την κλήση και από τις δύο πλευρές. Το φιλτράρισμα της εισόδου αποφεύγει την πληρωμή για δημιουργία σε περιεχόμενο που ούτως ή άλλως θα απορρίπτατε· το φιλτράρισμα της εξόδου προστατεύει από περιπτώσεις όπου το μοντέλο, αν προκληθεί επιδέξια, παράγει το ίδιο κάτι απαράδεκτο. Σημειώστε τη διαφορά στον χειρισμό: για την είσοδο, μπορείτε να πείτε στον χρήστη τι εντοπίστηκε, καθώς είναι ο συντάκτης του· για την έξοδο, το μήνυμα παραμένει αόριστο, επειδή η λεπτομέρειά του θα σήμαινε την περιγραφή αυτού που μόλις παρήγαγε το μοντέλο.

def moderated_chatbot(user_input: str) -> str:
    """Chatbot με διαχείριση τόσο των εισόδων ΟΣΟ και των εξόδων."""
    moderator = ContentModerator()

    # 1. Διαχείριση εισόδου
    input_ok, input_details = moderator.moderate(user_input)
    if not input_ok:
        return (f"Your message was blocked: "
                f"{', '.join(input_details['categories'])}")

    # 2. Δημιουργία απάντησης
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions="Respond in a professional and safe manner.",
        input=user_input
    )

    # 3. Διαχείριση εξόδου
    output_ok, output_details = moderator.moderate(response.output_text)
    if not output_ok:
        return "I am unable to provide that response."

    return response.output_text

# Δοκιμή
print(moderated_chatbot("What is the capital of France?"))

Μαζική Διαχείριση (Batch Moderation)

Αυτή η διπλή κλήση προσθέτει λανθάνουσα καθυστέρηση (latency), κάτι που είναι αποδεκτό στη συνομιλία αλλά γίνεται απαγορευτικό όταν πρέπει να επεξεργαστείτε δέκα χιλιάδες κριτικές πελατών εισαγμένες από ένα αρχείο. Για να διαχειριστείτε μεγάλους όγκους αποτελεσματικά, περάστε έναν πίνακα απευθείας: το API επεξεργάζεται όλα τα κείμενα σε ένα μόνο αίτημα και επιστρέφει τα αποτελέσματα με την ίδια σειρά, επιτρέποντάς σας να τα συσχετίσετε εκ νέου με βάση τον δείκτη.

def moderate_batch(texts: list[str]) -> list[dict]:
    """Διαχειρίζεται πολλαπλά κείμενα σε ένα μόνο αίτημα."""
    results = []

    # Το API δέχεται έναν πίνακα εισόδων
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=texts
    )

    for i, result in enumerate(moderation.results):
        results.append({
            "index": i,
            "text_preview": texts[i][:50],
            "flagged": result.flagged,
        })

    flagged_count = sum(1 for r in results if r["flagged"])
    print(f"Moderated {len(texts)} texts: {flagged_count} flagged")

    return results

# Χρήση
texts = [
    "Hello, how are you?",
    "Great product, I recommend it!",
    "Customer service is excellent.",
]
results = moderate_batch(texts)

Καταγραφή Διαχείρισης (Moderation Logging)

Μια απόφαση διαχείρισης επηρεάζει έναν χρήστη και αργά ή γρήγορα θα χρειαστεί να τη δικαιολογήσετε—είτε σε έναν πελάτη που αμφισβητεί έναν αποκλεισμό είτε σε έναν ρυθμιστικό φορέα. Επομένως, καταγράφετε συστηματικά την ετυμηγορία, το αναγνωριστικό χρήστη, τις βαθμολογίες και ένα απόσπασμα κειμένου. Το επίπεδο καταγραφής διακρίνει τις δύο περιπτώσεις: warning για επισημασμένο περιεχόμενο, το οποίο αξίζει ανθρώπινη επανεξέταση, και info για τα υπόλοιπα, τα οποία τροφοδοτούν τα στατιστικά σας.

import json
import logging
from datetime import datetime

logger = logging.getLogger("moderation")

def moderate_with_log(text: str, user_id: str = "anonymous") -> bool:
    """Διαχειρίζεται και καταγράφει το αποτέλεσμα για έλεγχο."""
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=text
    )

    result = moderation.results[0]

    log_entry = {
        "timestamp": datetime.now().isoformat(),
        "user_id": user_id,
        "flagged": result.flagged,
        "text_preview": text[:100],
        "scores": {
            "harassment": round(result.category_scores.harassment, 4),
            "hate": round(result.category_scores.hate, 4),
            "violence": round(result.category_scores.violence, 4),
        }
    }

    if result.flagged:
        logger.warning(json.dumps(log_entry))
    else:
        logger.info(json.dumps(log_entry))

    return not result.flagged

# Χρήση
is_ok = moderate_with_log("Test message", user_id="user-123")

Μια τελευταία προειδοποίηση πριν προχωρήσουμε: η διαχείριση περιεχομένου ταξινομεί το περιεχόμενο· δεν κατανοεί την πρόθεση. Ένα απολύτως ευγενικό μήνυμα που επιχειρεί να παρακάμψει (jailbreak) τον βοηθό σας θα περάσει από όλα αυτά τα φίλτρα χωρίς να επισημανθεί ούτε μία φορά. Αυτό είναι το θέμα του επόμενου μαθήματος.

Βασικά σημεία

  • Το API Διαχείρισης (Moderation) είναι δωρεάν—χρησιμοποιήστε το συστηματικά
  • Διαχειριστείτε τόσο τις εισόδους (περιεχόμενο χρήστη) ΟΣΟ και τις εξόδους (απαντήσεις μοντέλου)
  • Το μοντέλο omni-moderation-latest καλύπτει όλες τις κατηγορίες περιεχομένου
  • Καταγράψτε όλες τις αποφάσεις διαχείρισης για έλεγχο
  • Χρησιμοποιήστε μαζική επεξεργασία για αποτελεσματική διαχείριση μεγάλων όγκων
  • Η διαχείριση περιεχομένου συμπληρώνει τις οδηγίες συστήματος· δεν τις αντικαθιστά