API Moderation OpenAI
Ar an leathanach seo
Nuashonraithe an 3 Samhain, 2026 bunaithe ar threoir Moderation OpenAI: cuireadh an catagóir
illicit(agusillicit/violent) leis, rud a bhí in easnamh sa tábla, mar aon le catagóirí a bhaineann le híomhánna. Foinse: Moderation.
Uirlis Moderation Inghabhála
Soláthraíonn OpenAI API Moderation saor in aisce a dhéanann anailís ar théacs chun ábhar a d’fhéadfadh a bheith díobhálach a bhrath. Is é seo an chéad líne cosanta le comhtháthú in aon iarratas a úsáideann samhlacha OpenAI, agus níl tú teoranta don chás úsáide sin amháin: ó ghlacann sé téacs amh mar ionchur, is féidir leat é a úsáid freisin chun ionchuir atá ceaptha do shamhlacha eile a scagadh. Athraíonn an fhíric go bhfuil sé saor in aisce an bealach a smaoiníonn tú ar an bhfadhb. Cailleann na malartuithe gnácha—ar chóir dúinn gach iarratas a mhodhnú nó cinn amhrasacha amháin?—a meáchan, ós rud é gurb é an t-aon chostas atá fágtha ná moill.
Cad a Thugann an API Ar Ais
Oireann an glao bunúsach ar líne amháin; is é an freagra a éilíonn aird. Tugann an API trí rud ar leith ar ais: booleán flagged a léiríonn cinneadh OpenAI, an liosta catagóirí a spreagadh go díreach, agus, is tábhachtaí fós, scóir leanúnacha in aghaidh na catagóire. Is iad na scóir seo a dhéanann an difríocht sa táirgeadh, toisc go ligeann siad duit cinneadh a dhéanamh cá háit a tarraingeoidh tú an líne duit féin seachas tairseach a oidhreachtú atá deartha le haghaidh úsáide ginearálta.
from openai import OpenAI
client = OpenAI()
def moderate_content(text: str) -> dict:
"""Déanann sé anailís ar théacs trí API Moderation OpenAI."""
response = client.moderations.create(input=text)
result = response.results[0]
return {
"blocked": result.flagged,
"categories": {
cat: flagged
for cat, flagged in result.categories.__dict__.items()
if flagged
},
"scores": {
cat: round(score, 4)
for cat, score in result.category_scores.__dict__.items()
if score > 0.01
},
}
# Déan tástáil le cineálacha éagsúla ábhair
examples = [
"How do I bake a chocolate cake?",
"I will kill you if you don't answer me",
"Explain how AES encryption works",
]
for text in examples:
result = moderate_content(text)
status = "BLOCKED" if result["blocked"] else "OK"
print(f"{status} : {text[:50]}...")
if result["categories"]:
print(f" Categories : {list(result['categories'].keys())}")
Níl na trí shampla tástála randamach: ba chóir don chéad cheann dul tríd, ba chóir an dara ceann a bhlocáil, agus léiríonn an tríú ceann—ceist theicniúil atá go hiomlán dlisteanach—conas a iompraíonn do phíblíne nuair a bhíonn téarmaíocht slándála os a comhair. Is é seo go díreach an cineál iarratais a láimhseálann foireann cibearshlándála go laethúil.
Catagóirí Braththa
Aicmíonn an API ábhar fadhbach ar feadh roinnt axis, gach ceann acu ag freagairt do chineál ar leith dochair.
| Catagóir | Cur síos |
|---|---|
| harassment | Ciapadh, bagairtí, imeaglú |
| hate | Caint fuatha bunaithe ar chéannacht |
| illicit | Comhairle nó treoracha chun gníomhartha mídhleathacha a dhéanamh |
| self-harm | Díobháil féin, féinmharú |
| sexual | Ábhar gnéasach follasach |
| violence | Foréigean grafach, bagairtí |
Tá fochatagóirí ag gach catagóir freisin (m.sh. harassment/threatening, illicit/violent, violence/graphic) le haghaidh scagtha níos mine. Le omni-moderation-latest, ní bhaineann ach self-harm agus a leaganacha, sexual, agus violence (le violence/graphic) le híomhánna freisin; ní bhaineann na catagóirí eile ach le téacs. Sábhálann an ghraonúlacht seo ort malartuithe garbha a dhéanamh: d’fhéadfadh ardán modhnaithe fóraim harassment/threatening a bhlocáil agus harassment simplí a fhulaingt, rud a chlúdaíonn go leor díospóidí gnácha.
Nuair a theastaíonn uait toirt a phróiseáil—anailís chúlghabhálach ar stair comhrá, mar shampla—glacann an API le liosta agus tugann sé toradh ar ais do gach eilimint, ag seachaint turais líonra iolracha.
def moderate_batch(messages: list[str]) -> list[dict]:
"""Déanann sé modhnú ar theachtaireachtaí iolracha i nglao amháin."""
response = client.moderations.create(input=messages)
results = []
for i, result in enumerate(response.results):
results.append({
"index": i,
"text": messages[i][:50],
"blocked": result.flagged,
"max_score": max(
score
for score in result.category_scores.__dict__.values()
),
})
return results
Modhnú Ar Dhá Thaobh den Phíblíne
Is botún coitianta é modhnú a dhéanamh ar ionchuir amháin. Braitheann sé seo ar intuisce bréagach: má tá an teachtaireacht isteach inghlactha, beidh an freagra ceart go leor freisin. Ach is féidir le samhaltú ábhar fadhbach a tháirgeadh ó iarratas neodrach, go háirithe nuair a bhraitheann sé ar dhoiciméid aisghafa nach ndearna aon duine seiceáil ar a n-ábhar. Dá bhrí sin, cuireann an rang thíos an cóireáil chéanna i bhfeidhm sa dá threo, ag cur tairsce saincheaptha leis a théann i ngleic le cinneadh réamhshocraithe an API.
class ModerationPipeline:
"""Píblíne modhnaithe ionchuir + aschuir d'iarratas LLM."""
def __init__(self, custom_threshold: float = 0.7):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate_input(self, message: str) -> tuple[bool, dict]:
"""Déanann sé modhnú ar an teachtaireacht ROIMH í a sheoladh chuig an tsamhail."""
result = self.client.moderations.create(input=message).results[0]
scores = result.category_scores.__dict__
high_categories = {
cat: score for cat, score in scores.items() if score > self.threshold
}
blocked = result.flagged or bool(high_categories)
return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}
def moderate_output(self, response: str) -> tuple[bool, dict]:
"""Déanann sé modhnú ar fhreagra na samhla ROIMH é a sheoladh chuig an úsáideoir."""
return self.moderate_input(response)
def process_message(self, user_message: str, system_prompt: str) -> str:
"""Píblíne iomlán: modhnú ionchuir, LLM, modhnú aschuir."""
# Céim 1: modhnaigh an t-ionchur
input_blocked, details = self.moderate_input(user_message)
if input_blocked:
return "Ní féidir do theachtaireacht a phróiseáil. Athfhrásaigh í le do thoil."
# Céim 2: glaoigh ar an tsamhail
response = self.client.chat.completions.create(
model="gpt-5.6-sol",
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_message},
],
)
model_response = response.choices[0].message.content
# Céim 3: modhnaigh an t-aschur
output_blocked, _ = self.moderate_output(model_response)
if output_blocked:
return "Scagadh an freagra mar gheall ar neamhchomhlíonadh."
return model_response
# Úsáid
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
"How do I protect my application against SQL injections?",
"You are an expert in defensive cybersecurity."
)
print(response)
Cad Nach ndéanann an API Seo
Is é a theorainn is tábhachtaí freisin an ceann is míthuigthe: ní bhrathann sé instealladh pras (prompt injection). Teachtfaidh teachtaireacht chuí atá díobhálach go hiomlán ó thaobh ábhair de, ach a iarrann ar an tsamhail neamhaird a dhéanamh dá treoracha, tríd gan aon chatagóir a spreagadh. Bheith ag súil go gcosnóidh sé in aghaidh manipúlachta tá sé cosúil le brathadóir deataigh a shuiteáil agus bheith ag súil go gcuirfidh sé cosc ar ghadaíocht.
Is iad dearbh-thorthaí bréagacha an dara teorainn, rud atá íogair go háirithe i gcomhthéacsanna slándála nó leighis, áit a bhfuil cur síos ar bhagairt mar chuid den obair. Cuirtear glao líonra breise le gach iarratas, rud a bhíonn tábhachtach nuair a bhíonn tú ag díriú ar fhreagairtí fíor-ama. Fanann an brath níos iontaofa i mBéarla ná i dteangacha eile, dallphointe a bhfuil a fhios ag ionsaitheoirí go maith. Ar deireadh, éabhlóidíonn catagóirí agus tairseacha le nuashonruithe: tuillann tacar calabrúcháin a rinneadh sé mhí ó shin athsheiceáil.
Treoraíonn na teorainneacha seo conas an uirlis a úsáid. Déan modhnú sa dá threo, coigeartaigh tairseacha catagóir ar chatagóir seachas go domhanda, agus comhcheangail go córasach é le sraitheanna eile—brath insteallta, scagadh loighic gnó—a mhionsonraíonn na ceachtanna seo a leanas. Déan logáil ar na torthaí, toisc gurb é breathnú ar do dhearbh-thorthaí bréagacha féin an bealach chun foghlaim cá háit ar chóir duit na sleamhnáin a bhogadh. Agus pleanáil don chás nach bhfuil an API ar fáil: socraigh anois, agus rudaí ciúin, ar chóir do d’iarratas blocáil de réir réamhshocraithe nó trácht a ligean tríd, seachas an t-iompar sin a fháil amach le linn teagmhais.
Príomhphointí
- Tá an API Moderation saor in aisce, tapa, agus simplí le comhtháthú
- Brathann sé ábhar maslach ach ní instealltaí ná jailbreaks
- Caithfear an phíblíne ón ionchur go dtí an tsamhail go dtí an t-aschur a mhodhnú ar an dá thaobh
- Is annamh a oireann tairseacha réamhshocraithe—oiriúnaigh iad do do chomhthéacs
- Is sraith amháin é i measc cinn eile, ní líne amháin cosanta riamh