L-API ta' Moderazzjoni ta' OpenAI
F'din il-paġna
Aġġornat fit-3 ta’ Novembru, 2026 abbażi tal-gwida Moderation ta’ OpenAI: żdiedet il-kategorija
illicit(uillicit/violent), li kienet nieqsa mit-tabella, flimkien ma’ kategoriji li japplikaw għall-immaġnijiet. Sors: Moderation.
Għodda ta’ Moderazzjoni Mibnija ġewwa
OpenAI tipprovdi API ta’ Moderazzjoni b’xejn li tanalizza t-test biex tiskopri kontenut potenzjalment ta’ ħsara. Din hija l-ewwel linja ta’ difuża li għandek tintegra f’kull applikazzjoni li tuża mudelli ta’ OpenAI, u m’intix limitat għal dan il-każ biss: peress li taċċetta test raw bħala input, tista’ tużaha wkoll biex tiffiltra inputs maħsuba għal mudelli oħra. Il-fatt li hija b’xejn ibiddel il-mod kif taħseb dwar il-problema. Il-kompromessi usuali—għandna nmoderaw kull talba jew dawk suspettużi biss?—jitilfu l-piż tagħhom, peress li l-uniku kost li jifdal huwa l-latency.
X’tirritorna l-API
Is-sejħa bażika tidħol f’linja waħda; ir-risposta hija dak li jeħtieġ attenzjoni. L-API tirritorna tliet affarijiet distinti: boolean flagged li jirrifletti d-deċiżjoni ta’ OpenAI, il-lista ta’ kategoriji attwalment attivati, u, l-aktar importanti, punteġġi kontinwi għal kull kategorija. Dawn il-punteġġi huma dak li jagħmlu d-differenza fil-produzzjoni, għax iħalluk tiddeċiedi fejn trid tiġbed il-linja inti stess minflok tirrita threshold iddisinjat għal użu ġeneriku.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Janalizza t-test permezz tal-API ta' Moderazzjoni ta' OpenAI."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Ittestja b'tipi differenti ta' kontenut
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
It-tliet eżempji tat-test mhumiex każwali: l-ewwel wieħed għandu jgħaddi, it-tieni għandu jiġi bblokkjat, u t-tielet—mistoqsija teknika perfettament leġittima—jurik kif iġib ruħu l-pipeline tiegħek meta jiffaċċja vokabolarju tas-sigurtà. Dan huwa eżattament it-tip ta’ talba li timmaniġġja tim taċ-ċibersigurtà kuljum.
Kategoriji Skoperti
L-API tikklassifika kontenut problematiku tul diversi assi, li kull wieħed jikkorrispondi għal tip distint ta’ ħsara.
| Category | Description |
|---|---|
| harassment | Harassment, threats, intimidation |
| hate | Hate speech based on identity |
| illicit | Advice or instructions for committing illicit acts |
| self-harm | Self-harm, suicide |
| sexual | Explicit sexual content |
| violence | Graphic violence, threats |
Kull kategorija għandha wkoll sottokategoriji (eż. harassment/threatening, illicit/violent, violence/graphic) għal filtrazzjoni aktar fina. Ma’ omni-moderation-latest, biss self-harm u l-varjanti tiegħu, sexual, u violence (ma’ violence/graphic) japplikaw ukoll għall-immaġnijiet; il-kategoriji l-oħra japplikaw biss għat-test. Din il-granularità tiffrankalek milli tagħmel kompromessi grossolani: pjattaforma ta’ moderazzjoni ta’ forum tista’ tirriżulta li trid tibblokka harassment/threatening filwaqt li ttollerah sempliċiment harassment, li jkopri ħafna tilwim ordinarju.
Meta jkollok bżonn tipproċessa volum—analiżi retrospettiva ta’ storja ta’ konversazzjoni, pereżempju—l-API taċċetta lista u tirritorna riżultat għal kull element, u tevita ħafna vjaġġi round-trip fin-netwerk.
def moderate_batch(messages: list[str]) -> list[dict]:
"""Timmodera messaġġi multipli f'sejħa waħda."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Il-Moderazzjoni taż-Żewġ Truf tal-Pipeline
Żball komuni huwa li timmodera biss l-inputs. Dan jiddependi fuq intuizzjoni falza: jekk il-messaġġ li jidħol huwa aċċettabbli, ir-risposta tkun ukoll. Madankollu, mudell jista’ jipproduċi kontenut problematiku minn talba newtrali, speċjalment meta jiddependi fuq dokumenti rkuprati li l-kontenut tagħhom ħadd ma vverifika. Għalhekk, il-klassi hawn taħt tapplika l-istess trattament fiż-żewġ direzzjonijiet, u żżid threshold personalizzat li jissikka d-deċiżjoni default tal-API.
class ModerationPipeline:
"""Pipeline ta' moderazzjoni tal-input + output għal applikazzjoni LLM."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Timmodera l-messaġġ QABEL ma tibgħatu lill-mudell."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Timmodera r-risposta tal-mudell QABEL ma tibgħatha lill-utent."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Pipeline sħiħa: moderazzjoni tal-input, LLM, moderazzjoni tal-output."""
# Pass 1: modera l-input
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Il-messaġġ tiegħek ma jistax jiġi pproċessat. Jekk jogħġbok ifformulah mill-ġdid."
# Pass 2: sejjaħ il-mudell
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Pass 3: modera l-output
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "Ir-risposta ġiet iffiltrata għal nuqqas ta' konformità."
return model_response
# Użu
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
X’ma Tagħmilx Din l-API
Il-limitazzjoni l-aktar importanti tagħha hija wkoll dik li tinftiehem l-inqas: ma tiskoprix prompt injection. Messaġġ polite li huwa perfettament innoċwu mill-perspettiva tal-kontenut, iżda li jitlob lill-mudell jinjora l-istruzzjonijiet tiegħu, jgħaddi mingħajr ma jattiva ebda kategorija. Li tistenna li tipproteġi kontra l-manipulazzjoni huwa bħal li tinstalla detettur tad-duħħan u tama li jwaqqaf is-serq.
Il-falsi pożittivi huma t-tieni limitazzjoni, partikolarment sensittivi f’kuntesti tas-sigurtà jew mediċi, fejn id-deskrizzjoni ta’ theddida hija parti mix-xogħol. Tiżdied sejħa addizzjonali fin-netwerk ma’ kull talba, li jkollha impatt meta timmira għal risposti f’ħin reali. Id-detezzjoni tibqa’ aktar affidabbli bl-Ingliż milli f’lingwi oħra, punt dgħajjef li l-attakkanti jafu perfettament sew. Fl-aħħar nett, il-kategoriji u l-thresholds jevolvu mal-aġġornamenti: sett ta’ kalibrazzjoni ta’ sitt xhur ilu jistħoqqilu verifika mill-ġdid.
Dawn il-limiti jiddettaw kif tuża l-għodda. Modera fiż-żewġ direzzjonijiet, aġġusta t-thresholds kategorija b’kategorija minflok globalment, u għaqqadha sistematikament ma’ saffi oħra—detezzjoni ta’ injection, filtrazzjoni tal-loġika tan-negozju—li l-lezzjonijiet li ġejjin jiddettaljaw. Irreġistra r-riżultati, għax l-osservazzjoni tal-falsi pożittivi tiegħek stess hija kif titgħallem fejn iċċaqlaq is-sliders. U ippjana għall-każ fejn l-API ma tkunx disponibbli: iddeċiedi issa, waqt li l-affarijiet huma kalmi, jekk l-applikazzjoni tiegħek għandhiex tibblokka b’mod default jew iħalli t-traffiku jgħaddi, minflok ma tiskopri dak l-imġiba waqt inċident.
Punti Ewlenin
- L-API ta’ Moderazzjoni hija b’xejn, mgħaġġla u sempliċi biex tiġi integrata
- Tiskopri kontenut offensiv iżda mhux injections jew jailbreaks
- Il-pipeline input-to-model-to-output irid jiġi mmoderat fiż-żewġ truf
- It-thresholds default rari jaqblu—adattahom għall-kuntest tiegħek
- Hija saff wieħed fost oħrajn, qatt mhix l-unika linja ta’ difiża