OpenAI-jev API za moderiranje
Na ovoj stranici
Ažurirano 3. studenoga 2026. na temelju OpenAI-jevog vodiča Moderation: dodana je kategorija
illicit(iillicit/violent), koja je nedostajala u tablici, zajedno s kategorijama koje se primjenjuju na slike. Izvor: Moderation.
Ugrađeni alat za moderiranje
OpenAI nudi besplatan API za moderiranje koji analizira tekst kako bi otkrio potencijalno štetan sadržaj. Ovo je prva linija obrane koju trebaš integrirati u svaku aplikaciju koja koristi OpenAI modele, a nisi ograničen samo na tu uporabu: budući da prihvaća sirovi tekst kao ulaz, možeš ga koristiti i za filtriranje ulaza namijenjenih drugim modelima. Činjenica da je besplatan mijenja način na koji razmišljaš o problemu. Uobičajene kompromise – trebamo li moderirati svaki zahtjev ili samo sumnjive? – gube na težini jer je jedini preostali trošak latencija.
Što API vraća
Osnovni poziv staje u jedan redak; odgovor je ono što zahtijeva pažnju. API vraća tri različite stvari: boolean vrijednost flagged koja odražava OpenAI-jevu odluku, popis stvarno okinutih kategorija i, što je najvažnije, kontinuirane rezultate (score) po kategoriji. Ti rezultati čine razliku u proizvodnji jer ti omogućuju da sam odlučiš gdje povući crtu, umjesto da naslijediš prag dizajniran za opću uporabu.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Analizira tekst putem OpenAI-jevog API-ja za moderiranje."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Testiranje s različitim vrstama sadržaja
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
Tri testna primjera nisu slučajna: prvi bi trebao proći, drugi bi trebao biti blokiran, a treći – sasvim legitimno tehničko pitanje – pokazuje kako se tvoj pipeline ponaša kada se suoči sa sigurnosnim rječnikom. To je točno vrsta zahtjeva s kojom se tim za kibernetičku sigurnost svakodnevno susreće.
Otkrivene kategorije
API klasificira problematičan sadržaj duž nekoliko osi, od kojih svaka odgovara različitoj vrsti štete.
| Category | Description |
|---|---|
| harassment | Harassment, threats, intimidation |
| hate | Hate speech based on identity |
| illicit | Advice or instructions for committing illicit acts |
| self-harm | Self-harm, suicide |
| sexual | Explicit sexual content |
| violence | Graphic violence, threats |
Svaka kategorija također ima podkategorije (npr. harassment/threatening, illicit/violent, violence/graphic) za preciznije filtriranje. Uz omni-moderation-latest, samo se self-harm i njegove varijante, sexual te violence (s violence/graphic) primjenjuju i na slike; ostale kategorije vrijede samo za tekst. Ova granuliranost štedi te od grubih kompromisa: platforma za moderiranje foruma možda će htjeti blokirati harassment/threatening, a tolerirati jednostavno harassment, što pokriva mnoge obične rasprave.
Kada trebaš obraditi velike količine – na primjer, retrospektivnu analizu povijesti razgovora – API prihvaća popis i vraća rezultat za svaki element, izbjegavajući višestruke mrežne povratne putove (round trips).
def moderate_batch(messages: list[str]) -> list[dict]:
"""Moderira više poruka u jednom pozivu."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Moderiranje obaju krajeva pipelinea
Česta je pogreška moderiranje samo ulaza. To se oslanja na lažnu intuiciju: ako je dolazna poruka prihvatljiva, i odgovor će biti. No model može proizvesti problematičan sadržaj iz neutralnog zahtjeva, posebno kada se oslanja na dohvaćene dokumente čiji sadržaj nitko nije verificirao. Donja klasa stoga primjenjuje isti tretman u oba smjera, dodajući prilagođeni prag koji zateže zadaniu odluku API-ja.
class ModerationPipeline:
"""Pipeline za moderiranje ulaza i izlaza za LLM aplikaciju."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Moderira poruku PRIJE slanja modelu."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Moderira odgovor modela PRIJE slanja korisniku."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Cjeloviti pipeline: moderiranje ulaza, LLM, moderiranje izlaza."""
# Korak 1: moderiranje ulaza
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Your message cannot be processed. Please rephrase it."
# Korak 2: poziv modelu
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Korak 3: moderiranje izlaza
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "The response was filtered for non-compliance."
return model_response
# Uporaba
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Što ovaj API ne radi
Njegovo je najvažnije ograničenje ujedno i ono koje se najčešće pogrešno shvaća: ne otkriva ubacivanje promptova (prompt injection). Ljubazna poruka koja je s aspekta sadržaja sasvim bezopasna, ali traži od modela da ignorira svoje upute, proći će bez okidanja bilo koje kategorije. Očekivati da će te zaštititi od manipulacije isto je kao instalirati detektor dima i nadati se da će zaustaviti provale.
Lažno pozitivni rezultati drugo su ograničenje, posebno osjetljivo u sigurnosnim ili medicinskim kontekstima, gdje je opisivanje prijetnje dio posla. Svaki se zahtjev dodaje dodatni mrežni poziv, što je bitno kada ciljaš na odgovore u stvarnom vremenu. Detekcija ostaje pouzdanija na engleskom nego na drugim jezicima, što je slijepa točka koju napadači savršeno dobro poznaju. Konačno, kategorije i pragovi evoluiraju s ažuriranjima: skup za kalibraciju star šest mjeseci zaslužuje ponovnu provjeru.
Ova ograničenja diktiraju kako koristiti alat. Moderiraj u oba smjera, prilagođavaj pragove kategoriju po kategoriju umjesto globalno i sustavno ga kombiniraj s drugim slojevima – detekcijom ubacivanja, filtriranjem poslovne logike – koje detaljno opisuju sljedeće lekcije. Bilježi rezultate jer je promatranje vlastitih lažno pozitivnih rezultata način na koji učiš gdje pomaknuti klizače. I planiraj slučaj kada API nije dostupan: odluči sada, dok su stvari mirne, treba li tvoja aplikacija prema zadanim postavkama blokirati promet ili ga propustiti, umjesto da to ponašanje otkriješ tijekom incidenta.
Ključne točke
- API za moderiranje besplatan je, brz i jednostavan za integraciju
- Otkriva uvredljiv sadržaj, ali ne i injekcije ili probijanje zaštite (jailbreaks)
- Pipeline ulaz-model-izlaz mora biti moderiran na oba kraja
- Zadani pragovi rijetko odgovaraju – prilagodi ih svom kontekstu
- To je jedan od mnogih slojeva, nikada jedina linija obrane