API за модериране на OpenAI
На тази страница
Обновено на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Moderation: добавена е категорията
illicit(както иillicit/violent), която липсваше в таблицата, заедно с категориите, приложими за изображения. Източник: Moderation.
Вграден инструмент за модериране
OpenAI предоставя безплатно API за модериране, което анализира текст, за да открие потенциално вредно съдържание. Това е първата линия на защита, която трябва да интегрирате във всяко приложение, използващо модели на OpenAI, и не сте ограничени само до този случай на употреба: тъй като приема суров текст като вход, можете да го използвате и за филтриране на входни данни, предназначени за други модели. Фактът, че е безплатно, променя начина, по който мислите за проблема. Обичайните компромиси – дали да модерираме всяка заявка или само подозрителните? – губят тежестта си, тъй като единствената оставаща цена е латентността.
Какво връща API
Основното извикване се събира в един ред; отговорът е това, което изисква внимание. API връща три различни неща: булева стойност flagged, отразяваща решението на OpenAI, списък с действително задействаните категории и, най-важното, непрекъснати оценки за всяка категория. Тези оценки правят разликата в производствената среда, защото ви позволяват сами да решите къде да поставите границата, вместо да наследявате праг, проектиран за обща употреба.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Analyzes text via OpenAI's Moderation API."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Test with different content types
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
Трите тестови примера не са случайни: първият трябва да премине, вторият трябва да бъде блокиран, а третият – напълно легитимен технически въпрос – ви показва как се държи вашият конвейер, когато се сблъска със сигурностна терминология. Това е точно видът заявка, с който екипът по киберсигурност се справя ежедневно.
Открити категории
API класифицира проблемното съдържание по няколко оси, всяка от които съответства на различен вид вреда.
| Category | Description |
|---|---|
| harassment | Harassment, threats, intimidation |
| hate | Hate speech based on identity |
| illicit | Advice or instructions for committing illicit acts |
| self-harm | Self-harm, suicide |
| sexual | Explicit sexual content |
| violence | Graphic violence, threats |
Всяка категория има и подкатегории (напр. harassment/threatening, illicit/violent, violence/graphic) за по-фино филтриране. При omni-moderation-latest само self-harm и неговите варианти, sexual и violence (с violence/graphic) се прилагат и за изображения; другите категории важат само за текст. Тази гранулярност ви спестява правенето на груби компромиси: една платформа за модериране на форум може да иска да блокира harassment/threatening, докато толерира обикновеното harassment, което обхваща много ежедневни спорове.
Когато трябва да обработвате големи обеми – например ретроспективен анализ на история на разговор – API приема списък и връща резултат за всеки елемент, избягвайки множество мрежови цикли.
def moderate_batch(messages: list[str]) -> list[dict]:
"""Moderates multiple messages in a single call."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Модериране на двата края на конвейера
Честа грешка е модерирането само на входните данни. Това разчита на погрешна интуиция: ако входящото съобщение е приемливо, отговорът също ще бъде такъв. Все пак моделът може да генерира проблемно съдържание от неутрална заявка, особено когато разчита на извлечени документи, чието съдържание никой не е проверил. Следователно класът по-долу прилага същото отношение и в двете посоки, добавяйки персонализиран праг, който затяга решението по подразбиране на API.
class ModerationPipeline:
"""Input + output moderation pipeline for an LLM application."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Moderates the message BEFORE sending to the model."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Moderates the model's response BEFORE sending to the user."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Full pipeline: input moderation, LLM, output moderation."""
# Step 1: moderate input
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Your message cannot be processed. Please rephrase it."
# Step 2: call the model
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Step 3: moderate output
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "The response was filtered for non-compliance."
return model_response
# Usage
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Какво НЕ прави това API
Най-важното му ограничение е също и най-неразбраното: то не открива инжекции на подкани (prompt injection). Любезно съобщение, което е напълно безобидно от гледна точка на съдържанието, но иска от модела да игнорира инструкциите си, ще премине, без да задейства нито една категория. Очакването то да предпази от манипулации е като да инсталирате детектор за дим и да се надявате, че ще спре кражбите с взлом.
Фалшивите положителни резултати са второто ограничение, особено чувствително в контекста на сигурността или медицината, където описването на заплаха е част от работата. Към всяка заявка се добавя допълнително мрежово извикване, което има значение, когато целиете отговори в реално време. Откриването остава по-надеждно на английски, отколкото на други езици – сляпо петно, което атакуващите познават отлично. Накрая, категориите и праговете се развиват с актуализациите: калибрационен набор, направен преди шест месеца, заслужава повторна проверка.
Тези ограничения диктуват как да използвате инструмента. Модерирайте и в двете посоки, настройвайте праговете категория по категория, а не глобално, и систематично го комбинирайте с други слоеве – откриване на инжекции, филтриране на бизнес логиката – които следващите уроци detalizirat. Записвайте резултатите в дневник, защото наблюдението на собствените ви фалшиви положителни резултати е начинът да научите къде да местите плъзгачите. И планирайте случая, в който API е недостъпно: решете сега, докато нещата са спокойни, дали приложението ви трябва да блокира по подразбиране или да пропуска трафика, вместо да откривате това поведение по време на инцидент.
Ключови изводи
- API за модериране е безплатно, бързо и лесно за интегриране
- То открива обидно съдържание, но не и инжекции или пробиви на защитите (jailbreaks)
- Конвейерът вход-модел-изход трябва да бъде модериран и в двата края
- Праговете по подразбиране рядко пасват – адаптирайте ги към вашия контекст
- То е един слой сред други, никога единствената линия на защита