OpenAI moderavimo API
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. pagal OpenAI Moderation gidą: į lentelę įtraukta
illicitkategorija (irillicit/violent), kuri anksčiau trūko, kartu su kategorijomis, taikomomis vaizdams. Šaltinis: Moderation.
Integruotas moderavimo įrankis
OpenAI suteikia nemokamą moderavimo API, kuris analizuoja tekstą ir aptinka potencialiai žalingą turinį. Tai pirmoji gynybos linija, kurią privalai integruoti į bet kurią programą, naudojančią OpenAI modelius, ir tuo tavo galimybės neapsiriboja: kadangi API priima žalią tekstą kaip įvestį, gali jį naudoti ir filtruoti įvestis, skirtas kitiems modeliams. Tai, kad jis nemokamas, keičia tavo požiūrį į problemą. Įprasti kompromisai – ar moderuoti kiekvieną užklausą, ar tik įtartinus atvejus? – praranda savo svorį, nes vienintelė likusi kaina yra delsos laikas (latency).
Ką grąžina API
Pagrindinis kvietimas telpa į vieną eilutę; dėmesio reikalauja atsakas. API grąžina tris skirtingus dalykus: boolean tipo flagged reikšmę, atspindinčią OpenAI sprendimą, suaktyvintų kategorijų sąrašą ir, svarbiausia, nuolatinius balus kiekvienai kategorijai. Būtent šie balai lemia skirtumą gamybinėje aplinkoje, nes leidžia tau pačiam nuspręsti, kur nubrėžti ribą, o ne paveldėti slenkstį, sukurtą bendram naudojimui.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Analizuoja tekstą naudodamas OpenAI moderavimo API."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Testavimas su skirtingo tipo turiniu
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
Šie trys testavimo pavyzdžiai nėra atsitiktiniai: pirmasis turėtų praeiti, antrasis – būti užblokuotas, o trečiasis – visiškai teisėtas techninis klausimas – parodo, kaip tavo sistema elgiasi susidūrusi su saugumo terminija. Būtent tokias užklausas kibernetinio saugumo komanda tvarko kasdien.
Aptinkamos kategorijos
API klasifikuoja probleminį turinį pagal kelias ašis, kurių kiekviena atitinka skirtingą žalos tipą.
| Kategorija | Aprašymas |
|---|---|
| harassment | Priekabiavimas, grasinimai, bauginimas |
| hate | Neapykantos kalba, pagrįsta tapatybe |
| illicit | Patarimai ar instrukcijos neteisėtiems veiksmams vykdyti |
| self-harm | Savižala, savižudybė |
| sexual | Atviras seksualinis turinys |
| violence | Grafinis smurtas, grasinimai |
Kiekviena kategorija taip pat turi pokategorijų (pvz., harassment/threatening, illicit/violent, violence/graphic) tikslesniam filtravimui. Naudojant omni-moderation-latest, tik self-harm ir jos variantai, sexual bei violence (su violence/graphic) taikomi ir vaizdams; kitos kategorijos taikomos tik tekstui. Šis detalumas leidžia išvengti grublių kompromisų: forumo moderavimo platforma gali norėti blokuoti harassment/threatening, bet toleruoti paprastą harassment, kuris apima daugelį įprastų ginčų.
Kai reikia apdoroti didelius kiekius – pavyzdžiui, atlikti retrospektyvią pokalbių istorijos analizę – API priima sąrašą ir grąžina rezultatą kiekvienam elementui, taip išvengdamas kelių tinklo užklausų ciklų.
def moderate_batch(messages: list[str]) -> list[dict]:
"""Moderuoja kelis pranešimus vienu kvietimu."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Abiejų vamzdyno galų moderavimas
Dažna klaida – moderuoti tik įvestis. Tai remiasi klaidinga intuicija: jei gaunamas pranešimas yra priimtinas, atsakymas taip pat bus tinkamas. Tačiau modelis gali sugeneruoti probleminį turinį iš neutralios užklausos, ypač kai jis remiasi gautais dokumentais, kurių turinio niekas nepatikrino. Todėl toliau pateikta klasė taiko tą patį apdorojimą abiem kryptimis, pridėdama pasirinktinį slenkstį, kuris sugriežtina numatytąjį API sprendimą.
class ModerationPipeline:
"""Įvesties ir išvesties moderavimo vamzdynas LLM programai."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Moderuoja pranešimą PRIEŠ siunčiant modeliui."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Moderuoja modelio atsakymą PRIEŠ siunčiant vartotojui."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Pilnas vamzdynas: įvesties moderavimas, LLM, išvesties moderavimas."""
# 1 žingsnis: moderuoti įvestį
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Jūsų pranešimo negalima apdoroti. Prašome jį performuluoti."
# 2 žingsnis: kreiptis į modelį
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# 3 žingsnis: moderuoti išvestį
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "Atsakymas buvo filtruotas dėl neatitikimo."
return model_response
# Naudojimas
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Ko šis API nedaro
Svarbiausias jo apribojimas yra ir labiausiai neteisingai suprantamas dalykas: jis neaptinka prompt injection (užklausų injekcijų). Mandagus pranešimas, kuris turinio požiūriu yra visiškai nekenksmingas, bet prašo modelio ignoruoti savo instrukcijas, praeis nesuaktyvindamas jokios kategorijos. Tikėtis, kad jis apsaugos nuo manipuliavimo, yra tas pats, kaip sumontuoti dūmų detektorių ir tikėtis, kad jis sustabdys vagis.
Klaidingi teigiami rezultatai (false positives) yra antras apribojimas, ypač jautrus saugumo ar medicinos kontekstuose, kur grėsmių aprašymas yra darbo dalis. Prie kiekvienos užklausos pridedamas papildomas tinklo skambutis, o tai svarbu, kai siekiama realiuoju laiku vykdomų atsakymų. Aptikimas išlieka patikimesnis anglų kalba nei kitomis kalbomis – tai aklavietė, kurią atakuotojai puikiai žino. Galiausiai, kategorijos ir slenksčiai kinta atnaujinimų metu: prieš šešis mėnesius atlikta kalibracija nusipelno pakartotinio patikrinimo.
Šie apribojimai diktuoja, kaip naudoti įrankį. Moderuok abiem kryptimis, koreguok slenksčius kategorija po kategorijos, o ne globaliai, ir sistemiškai derink jį su kitais sluoksniais – injekcijų aptikimu, verslo logikos filtravimu – kuriuos detaliai aprašysime kitose pamokose. Registruok rezultatus, nes stebint savo klaidingus teigiamus rezultatus mokaisi, kur reikia pastumti slankiklius. Ir suplanuok atvejį, kai API yra nepasiekiamas: nuspręsk dabar, kol viskas ramu, ar tavo programa turėtų pagal nutylėjimą blokuoti, ar leisti srautą, o ne atrasti šį elgesį incidento metu.
Svarbiausi punktai
- Moderavimo API yra nemokamas, greitas ir paprastai integruojamas
- Jis aptinka įžeidžiantį turinį, bet ne injekcijas ar „jailbreak“ metodus
- Vamzdynas „įvestis-modelis-išvestis“ turi būti moderuojamas abiejuose galuose
- Numatytieji slenksčiai retai tinka – pritaikyk juos savo kontekstui
- Tai vienas iš daugelio sluoksnių, niekada – vienintelė gynybos linija