OpenAIs Moderations-API
På denne side
Opdateret 3. november 2026 baseret på OpenAIs guide til Moderation: Tilføjet kategorien
illicit(ogillicit/violent), som manglede i tabellen, sammen med kategorier, der gælder for billeder. Kilde: Moderation.
Et indbygget moderationsværktøj
OpenAI tilbyder en gratis Moderations-API, der analyserer tekst for at opdage potentielt skadeligt indhold. Dette er dit første forsvarslag i enhver applikation, der bruger OpenAI-modeller, og du er ikke begrænset til netop dette brugstilfælde: Da API’en accepterer rå tekst som input, kan du også bruge den til at filtrere input, der er destineret til andre modeller. Det faktum, at den er gratis, ændrer din tilgang til problemet. De sædvanlige afvejninger – skal vi moderere hver anmodning eller kun de mistænkelige? – mister deres vægt, da den eneste tilbageværende omkostning er latenstid.
Hvad API’en returnerer
Selve kaldet fylder kun én linje; det er svaret, der kræver opmærksomhed. API’en returnerer tre forskellige ting: en boolean-værdi flagged, der afspejler OpenAIs beslutning, listen over kategorier, der faktisk blev udløst, og vigtigst af alt, kontinuerlige scorer pr. kategori. Det er disse scorer, der gør forskellen i produktion, fordi de lader dig selv beslutte, hvor du vil trække grænsen, i stedet for at arve en tærskel designet til generel brug.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Analyserer tekst via OpenAIs Moderations-API."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Test med forskellige indholdstyper
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
De tre testeksempler er ikke tilfældige: Det første bør passere, det andet bør blokeres, og det tredje – et helt legitimt teknisk spørgsmål – viser dig, hvordan din pipeline opfører sig, når den står over for sikkerhedsrelateret ordforråd. Dette er præcis den type anmodning, et cybersikkerhedsteam håndterer dagligt.
Registrerede kategorier
API’en klassificerer problematisk indhold langs flere akser, hvor hver svarer til en distinkt type skade.
| Category | Description |
|---|---|
| harassment | Harassment, threats, intimidation |
| hate | Hate speech based on identity |
| illicit | Advice or instructions for committing illicit acts |
| self-harm | Self-harm, suicide |
| sexual | Explicit sexual content |
| violence | Graphic violence, threats |
Hver kategori har også underkategorier (f.eks. harassment/threatening, illicit/violent, violence/graphic) for finere filtrering. Med omni-moderation-latest gælder kun self-harm og dens varianter, sexual og violence (med violence/graphic) også for billeder; de andre kategorier gælder kun for tekst. Denne granularitet sparer dig for at foretage grove afvejninger: En forum-moderationsplatform kan måske ønske at blokere harassment/threatening, mens den tolererer simpel harassment, hvilket dækker mange almindelige tvister.
Når du skal behandle store mængder – f.eks. retrospektiv analyse af en samtalehistorik – accepterer API’en en liste og returnerer et resultat for hvert element, hvilket undgår flere netværksrundture.
def moderate_batch(messages: list[str]) -> list[dict]:
"""Modererer flere beskeder i et enkelt kald."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Moderering i begge ender af pipelinen
En almindelig fejl er kun at moderere input. Dette bygger på en falsk intuition: Hvis den indgående besked er acceptabel, vil svaret også være det. En model kan dog producere problematisk indhold ud fra en neutral anmodning, især når den baserer sig på hentede dokumenter, hvis indhold ingen har verificeret. Klassen nedenfor anvender derfor samme behandling i begge retninger og tilføjer en brugerdefineret tærskel, der strammer op omkring API’ens standardbeslutning.
class ModerationPipeline:
"""Input- og output-moderationspipeline til en LLM-applikation."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Modererer beskeden FØR den sendes til modellen."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Modererer modellens svar FØR det sendes til brugeren."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Fuld pipeline: input-moderering, LLM, output-moderering."""
# Trin 1: Moderer input
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Your message cannot be processed. Please rephrase it."
# Trin 2: Kald modellen
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Trin 3: Moderer output
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "The response was filtered for non-compliance."
return model_response
# Brug
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Hvad denne API ikke gør
Den vigtigste begrænsning er også den mest misforståede: Den registrerer ikke prompt injection. En høflig besked, der er helt uskadelig indholdsmæssigt, men som beder modellen ignorere sine instrukser, vil passere uden at udløse nogen kategori. At forvente, at den beskytter mod manipulation, svarer til at installere en røgmelder og håbe, at den stopper indbrudstyve.
Falske positiver er den anden begrænsning, hvilket er særligt følsomt i sikkerheds- eller medicinske sammenhænge, hvor beskrivelse af en trussel er en del af jobbet. Der tilføjes et ekstra netværkskald til hver anmodning, hvilket betyder noget, når du sigter efter svar i realtid. Registreringen forbliver mere pålidelig på engelsk end på andre sprog, et blindt område, som angribere kender alt for godt. Endelig udvikler kategorier og tærskler sig med opdateringer: Et kalibreringssæt fra for seks måneder siden fortjener en ny verifikation.
Disse begrænsninger dikterer, hvordan værktøjet skal bruges. Moderer i begge retninger, juster tærskler kategori for kategori i stedet for globalt, og kombiner det systematisk med andre lag – detektering af injection, filtrering af forretningslogik – som de følgende lektioner detaljerer. Log resultaterne, for det er ved at observere dine egne falske positiver, at du lærer, hvor du skal rykke skyderne. Og planlæg for det tilfælde, hvor API’en ikke er tilgængelig: Beslut nu, mens tingene er rolige, om din applikation skal blokere som standard eller lade trafikken passere, i stedet for at opdage den adfærd under en hændelse.
Vigtige pointer
- Moderations-API’en er gratis, hurtig og enkel at integrere
- Den registrerer stødende indhold, men ikke injections eller jailbreaks
- Pipelinen fra input til model til output skal modereres i begge ender
- Standardtærskler passer sjældent – tilpas dem til din kontekst
- Det er ét lag blandt mange, aldrig den eneste forsvarslinje