Премини към основното съдържание
Български— Изберете език
Меню

API за модериране на OpenAI

Урок 5 от 14 Обновен 3 ноември 2026 г. Напреднало
На тази страница
  1. Вграден инструмент за модериране
  2. Какво връща API
  3. Открити категории
  4. Модериране на двата края на конвейера
  5. Какво НЕ прави това API
  6. Ключови изводи

Обновено на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Moderation: добавена е категорията illicit (както и illicit/violent), която липсваше в таблицата, заедно с категориите, приложими за изображения. Източник: Moderation.

Вграден инструмент за модериране

OpenAI предоставя безплатно API за модериране, което анализира текст, за да открие потенциално вредно съдържание. Това е първата линия на защита, която трябва да интегрирате във всяко приложение, използващо модели на OpenAI, и не сте ограничени само до този случай на употреба: тъй като приема суров текст като вход, можете да го използвате и за филтриране на входни данни, предназначени за други модели. Фактът, че е безплатно, променя начина, по който мислите за проблема. Обичайните компромиси – дали да модерираме всяка заявка или само подозрителните? – губят тежестта си, тъй като единствената оставаща цена е латентността.

Какво връща API

Основното извикване се събира в един ред; отговорът е това, което изисква внимание. API връща три различни неща: булева стойност flagged, отразяваща решението на OpenAI, списък с действително задействаните категории и, най-важното, непрекъснати оценки за всяка категория. Тези оценки правят разликата в производствената среда, защото ви позволяват сами да решите къде да поставите границата, вместо да наследявате праг, проектиран за обща употреба.

from openai import OpenAI

client = OpenAI()

def moderate_content(text: str) -> dict:
    """Analyzes text via OpenAI's Moderation API."""
    response = client.moderations.create(input=text)
    result = response.results[0]

    return {
        "blocked": result.flagged,
        "categories": {
            cat: flagged
            for cat, flagged in result.categories.__dict__.items()
            if flagged
        },
        "scores": {
            cat: round(score, 4)
            for cat, score in result.category_scores.__dict__.items()
            if score > 0.01
        },
    }

# Test with different content types
examples = [
    "How do I bake a chocolate cake?",
    "I will kill you if you don't answer me",
    "Explain how AES encryption works",
]

for text in examples:
    result = moderate_content(text)
    status = "BLOCKED" if result["blocked"] else "OK"
    print(f"{status} : {text[:50]}...")
    if result["categories"]:
        print(f"  Categories : {list(result['categories'].keys())}")

Трите тестови примера не са случайни: първият трябва да премине, вторият трябва да бъде блокиран, а третият – напълно легитимен технически въпрос – ви показва как се държи вашият конвейер, когато се сблъска със сигурностна терминология. Това е точно видът заявка, с който екипът по киберсигурност се справя ежедневно.

Открити категории

API класифицира проблемното съдържание по няколко оси, всяка от които съответства на различен вид вреда.

Category Description
harassment Harassment, threats, intimidation
hate Hate speech based on identity
illicit Advice or instructions for committing illicit acts
self-harm Self-harm, suicide
sexual Explicit sexual content
violence Graphic violence, threats

Всяка категория има и подкатегории (напр. harassment/threatening, illicit/violent, violence/graphic) за по-фино филтриране. При omni-moderation-latest само self-harm и неговите варианти, sexual и violence (с violence/graphic) се прилагат и за изображения; другите категории важат само за текст. Тази гранулярност ви спестява правенето на груби компромиси: една платформа за модериране на форум може да иска да блокира harassment/threatening, докато толерира обикновеното harassment, което обхваща много ежедневни спорове.

Когато трябва да обработвате големи обеми – например ретроспективен анализ на история на разговор – API приема списък и връща резултат за всеки елемент, избягвайки множество мрежови цикли.

def moderate_batch(messages: list[str]) -> list[dict]:
    """Moderates multiple messages in a single call."""
    response = client.moderations.create(input=messages)
    results = []
    for i, result in enumerate(response.results):
        results.append({
            "index": i,
            "text": messages[i][:50],
            "blocked": result.flagged,
            "max_score": max(
                score
                for score in result.category_scores.__dict__.values()
            ),
        })
    return results

Модериране на двата края на конвейера

Честа грешка е модерирането само на входните данни. Това разчита на погрешна интуиция: ако входящото съобщение е приемливо, отговорът също ще бъде такъв. Все пак моделът може да генерира проблемно съдържание от неутрална заявка, особено когато разчита на извлечени документи, чието съдържание никой не е проверил. Следователно класът по-долу прилага същото отношение и в двете посоки, добавяйки персонализиран праг, който затяга решението по подразбиране на API.

class ModerationPipeline:
    """Input + output moderation pipeline for an LLM application."""

    def __init__(self, custom_threshold: float = 0.7):
        self.client = OpenAI()
        self.threshold = custom_threshold

    def moderate_input(self, message: str) -> tuple[bool, dict]:
        """Moderates the message BEFORE sending to the model."""
        result = self.client.moderations.create(input=message).results[0]
        scores = result.category_scores.__dict__
        high_categories = {
            cat: score for cat, score in scores.items() if score > self.threshold
        }
        blocked = result.flagged or bool(high_categories)
        return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}

    def moderate_output(self, response: str) -> tuple[bool, dict]:
        """Moderates the model's response BEFORE sending to the user."""
        return self.moderate_input(response)

    def process_message(self, user_message: str, system_prompt: str) -> str:
        """Full pipeline: input moderation, LLM, output moderation."""
        # Step 1: moderate input
        input_blocked, details = self.moderate_input(user_message)
        if input_blocked:
            return "Your message cannot be processed. Please rephrase it."

        # Step 2: call the model
        response = self.client.chat.completions.create(
            model="gpt-5.6-sol",
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": user_message},
            ],
        )
        model_response = response.choices[0].message.content

        # Step 3: moderate output
        output_blocked, _ = self.moderate_output(model_response)
        if output_blocked:
            return "The response was filtered for non-compliance."

        return model_response

# Usage
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
    "How do I protect my application against SQL injections?",
    "You are an expert in defensive cybersecurity."
)
print(response)

Какво НЕ прави това API

Най-важното му ограничение е също и най-неразбраното: то не открива инжекции на подкани (prompt injection). Любезно съобщение, което е напълно безобидно от гледна точка на съдържанието, но иска от модела да игнорира инструкциите си, ще премине, без да задейства нито една категория. Очакването то да предпази от манипулации е като да инсталирате детектор за дим и да се надявате, че ще спре кражбите с взлом.

Фалшивите положителни резултати са второто ограничение, особено чувствително в контекста на сигурността или медицината, където описването на заплаха е част от работата. Към всяка заявка се добавя допълнително мрежово извикване, което има значение, когато целиете отговори в реално време. Откриването остава по-надеждно на английски, отколкото на други езици – сляпо петно, което атакуващите познават отлично. Накрая, категориите и праговете се развиват с актуализациите: калибрационен набор, направен преди шест месеца, заслужава повторна проверка.

Тези ограничения диктуват как да използвате инструмента. Модерирайте и в двете посоки, настройвайте праговете категория по категория, а не глобално, и систематично го комбинирайте с други слоеве – откриване на инжекции, филтриране на бизнес логиката – които следващите уроци detalizirat. Записвайте резултатите в дневник, защото наблюдението на собствените ви фалшиви положителни резултати е начинът да научите къде да местите плъзгачите. И планирайте случая, в който API е недостъпно: решете сега, докато нещата са спокойни, дали приложението ви трябва да блокира по подразбиране или да пропуска трафика, вместо да откривате това поведение по време на инцидент.

Ключови изводи

  • API за модериране е безплатно, бързо и лесно за интегриране
  • То открива обидно съдържание, но не и инжекции или пробиви на защитите (jailbreaks)
  • Конвейерът вход-модел-изход трябва да бъде модериран и в двата края
  • Праговете по подразбиране рядко пасват – адаптирайте ги към вашия контекст
  • То е един слой сред други, никога единствената линия на защита