Maoirseacht Ábhair leis an API
Ar an leathanach seo
Nuashonraithe an 3 Samhain, 2026 bunaithe ar threoir Maoirseachta OpenAI: bhí na catagóirí
illicitagusillicit/violentdon mhúnlaomni-moderation-latestin easnamh ón liosta agus ón gcód. Foinse: Maoirseacht.
Maoirseacht Ábhair leis an API
Braithfidh API Maoirseachta OpenAI ábhar neamhchuí go huathoibríoch. Is uirlis saor in aisce, riachtanach í d’aon fheidhmchlár a ghlacann ábhar ó úsáideoirí. Sa cheacht roimhe seo, d’fhoghlaim tú conas scagairí saincheaptha a scríobh; sa cheacht seo, gheobhaidh tú aicmitheoir oilte a bhrathfaidh rudaí nach mbraithfidh slonn rialta riamh—bagairtí folaithe, masluithe indíreacha, agus frásaíocht implíoch.
An API Maoirseachta
Tá an glao beartaithe a bheith íostach: múnla amháin, téacs amháin, agus toradh a fhiuchann síos go boole. Freagraíonn an réimse flagged an cheist dhénártha, “An sáraíonn an t-ábhar seo polasaithe úsáide?” agus míníonn categories cinn díobh. Ós rud é go bhfuil an críochphointe seo saor in aisce, níl aon chúis eacnamaíoch gan é a úsáid, fiú ag toirteanna arda.
from openai import OpenAI
client = OpenAI()
# Tá an API Maoirseachta SAOR IN AISCE
moderation = client.moderations.create(
model="omni-moderation-latest",
input="Hello, how are you?"
)
result = moderation.results[0]
print(f"Content flagged: {result.flagged}")
print(f"Categories: {result.categories}")
# Toradh:
# Content flagged: False
# Categories: Categories(harassment=False, hate=False, ...)
Catagóirí Maoirseachta
Taobh thiar den bhoole tá greille mínghráinneach. Tugann an múnla cinneadh in aghaidh na catagóire—ciapadh, ciapadh bagarthach, fuath, fuath bagarthach, treoracha do ghníomhartha mídhleathacha (le foréigean nó gan é), féin-dhochar lena leaganacha (treoracha agus rún), ábhar gnéasach, ábhar gnéasach ina bhfuil mionaoisigh i gceist, foréigean, agus foréigean grafach—mar aon le scór muiníne idir 0.0 agus 1.0 do gach ceann.
Tá na scóir seo níos tábhachtaí ná an cinneadh dénártha nuair is mian leat do pholasaithe a chalabrú. D’fhéadfadh ardán fóraim ghairmiúil bac a chur ag 0.3 do chiapadh, ach d’fhéadfadh seirbhís ficsean glacadh le 0.7 do fhoréigean. Nochtann an fheidhm thíos an dá leibhéal léargais: na catagóirí a spreagadh go díreach, agus na scóir amha do do thairseacha féin.
def analyze_moderation(text: str) -> dict:
"""Anailís mhionsonraithe ar mhaoirseacht."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=text
)
result = moderation.results[0]
# Catagóirí atá ar fáil
categories = {
"harassment": result.categories.harassment,
"harassment_threatening": result.categories.harassment_threatening,
"hate": result.categories.hate,
"hate_threatening": result.categories.hate_threatening,
"illicit": result.categories.illicit,
"illicit_violent": result.categories.illicit_violent,
"self_harm": result.categories.self_harm,
"self_harm_instructions": result.categories.self_harm_instructions,
"self_harm_intent": result.categories.self_harm_intent,
"sexual": result.categories.sexual,
"sexual_minors": result.categories.sexual_minors,
"violence": result.categories.violence,
"violence_graphic": result.categories.violence_graphic,
}
# Scóir muiníne (0.0 go 1.0)
scores = {
"harassment": result.category_scores.harassment,
"hate": result.category_scores.hate,
"self_harm": result.category_scores.self_harm,
"sexual": result.category_scores.sexual,
"violence": result.category_scores.violence,
}
return {
"flagged": result.flagged,
"detected_categories": [k for k, v in categories.items() if v],
"main_scores": {k: round(v, 4) for k, v in scores.items()},
}
# Tástáil
result = analyze_moderation("Hello everyone!")
print(f"Flagged: {result['flagged']}")
print(f"Scores: {result['main_scores']}")
Píblíne Iomlán Maoirseachta
Maoirseacht ar Ionchuir Úsáideoirí
Déanaimis an glao seo a chur i gcomhpháirt in-athúsáidte. Tugann ContentModerator péire sainráite ar ais—inghlactha nó nach ea, leis an gcúis—seachas oibiacht amh a bheadh ar gach glaodóir a léirmhíniú arís. Tá sé tábhachtach catagóirí a aistriú go teanga shoiléir: seo an foclóir a bheidh le feiceáil i d’chomhéadan agus i do logaí, agus caithfidh sé a bheith intuigthe ag an bhfoireann mhaoirseachta dhaonna a ghlacfaidh seilbh air.
class ContentModerator:
"""Maoirseoir ábhair d'fheidhmchláir."""
def __init__(self, custom_threshold: float = 0.5):
self.client = OpenAI()
self.threshold = custom_threshold
def moderate(self, text: str) -> tuple[bool, dict]:
"""Déanann maoirseacht ar théacs. Tugann sé ar ais (is_inghlactha, sonraí)."""
moderation = self.client.moderations.create(
model="omni-moderation-latest",
input=text
)
result = moderation.results[0]
if result.flagged:
categories = []
if result.categories.harassment:
categories.append("harassment")
if result.categories.hate:
categories.append("hate speech")
if result.categories.sexual:
categories.append("sexual content")
if result.categories.violence:
categories.append("violence")
if result.categories.self_harm:
categories.append("self-harm")
return False, {
"reason": "Inappropriate content detected",
"categories": categories
}
return True, {"reason": "Content acceptable"}
def moderate_conversation(self, messages: list[str]) -> list[dict]:
"""Déanann maoirseacht ar liosta teachtaireachtaí."""
results = []
for msg in messages:
acceptable, details = self.moderate(msg)
results.append({
"message": msg[:50] + "..." if len(msg) > 50 else msg,
"acceptable": acceptable,
**details
})
return results
# Úsáid
moderator = ContentModerator()
acceptable, details = moderator.moderate("Hello, how can I help you?")
print(f"Acceptable: {acceptable}")
print(f"Details: {details}")
Comhtháthú sa Phíblíne API
Cuireann maoirseacht creatlach timpeall an ghlao ar an dá thaobh. Seachnaíonn scagadh ionchuir íoc as giniúint ar ábhar a dhiúltófá ar any chaoi; cosnaíonn scagadh aschuir i gcoinne cásanna ina dtáirgeann an múnla, dá gcuirfí ar bhealach oilte é, rud neamh-inghlactha leis féin. Tabhair faoi deara an difríocht sa láimhseáil: maidir le hionchur, is féidir leat a rá leis an úsáideoir cad a brathadh, ós rud é gurb iadsan a scríobh é; maidir le haschur, fanann an teachtaireacht doiléir, toisc go gciallódh cur síos air an rud a tháirg an múnla a mhíniú díreach.
def moderated_chatbot(user_input: str) -> str:
"""Chatbot le maoirseacht ar IONCHUIR agus ASCHUIR araon."""
moderator = ContentModerator()
# 1. Déan maoirseacht ar an ionchur
input_ok, input_details = moderator.moderate(user_input)
if not input_ok:
return (f"Your message was blocked: "
f"{', '.join(input_details['categories'])}")
# 2. Giniúint freagartha
response = client.responses.create(
model="gpt-5.6-terra",
instructions="Respond in a professional and safe manner.",
input=user_input
)
# 3. Déan maoirseacht ar an aschur
output_ok, output_details = moderator.moderate(response.output_text)
if not output_ok:
return "I am unable to provide that response."
return response.output_text
# Tástáil
print(moderated_chatbot("What is the capital of France?"))
Maoirseacht Bhaisce
Cuireann an glao dúbailte seo moill leis, rud atá inghlactha i gcomhrá ach a éiríonn coscach nuair a theastaíonn uait deich míle léirmheas custaiméara a phróiseáil a allmhairíodh ó chomhad. Chun toirteanna móra a mhaoirsiú go héifeachtúil, pasáil eagar díreach: próiseálann an API gach téacs in aon iarratas amháin agus tugann sé torthaí ar ais san ord céanna, rud a ligeann duit iad a athcheangal de réir innéacs.
def moderate_batch(texts: list[str]) -> list[dict]:
"""Déanann maoirseacht ar théacsanna iolracha in aon iarratas amháin."""
results = []
# Glacann an API le eagar ionchur
moderation = client.moderations.create(
model="omni-moderation-latest",
input=texts
)
for i, result in enumerate(moderation.results):
results.append({
"index": i,
"text_preview": texts[i][:50],
"flagged": result.flagged,
})
flagged_count = sum(1 for r in results if r["flagged"])
print(f"Moderated {len(texts)} texts: {flagged_count} flagged")
return results
# Úsáid
texts = [
"Hello, how are you?",
"Great product, I recommend it!",
"Customer service is excellent.",
]
results = moderate_batch(texts)
Logáil Maoirseachta
Bíonn tionchar ag cinneadh maoirseachta ar úsáideoir, agus beidh ort é a chosaint sooner nó later—cé acu le custaiméir ag cur in aghaidh bac nó le rialálaí. Dá bhrí sin, déan logáil córasach ar an mbreithiúnas, ar ID an úsáideora, ar na scóir, agus ar blúire téacs. Déanann an leibhéal logála idirdhealú idir an dá chás: warning d’ábhar atá marcáilte, rud a thuilleann athbhreithniú daonna, agus info don chuid eile, a chothaíonn do staitisticí.
import json
import logging
from datetime import datetime
logger = logging.getLogger("moderation")
def moderate_with_log(text: str, user_id: str = "anonymous") -> bool:
"""Déanann maoirseacht agus logálann sé an toradh chun iniúchta."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=text
)
result = moderation.results[0]
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"flagged": result.flagged,
"text_preview": text[:100],
"scores": {
"harassment": round(result.category_scores.harassment, 4),
"hate": round(result.category_scores.hate, 4),
"violence": round(result.category_scores.violence, 4),
}
}
if result.flagged:
logger.warning(json.dumps(log_entry))
else:
logger.info(json.dumps(log_entry))
return not result.flagged
# Úsáid
is_ok = moderate_with_log("Test message", user_id="user-123")
Rabhchadh deireanach sula dtéann tú ar aghaidh: déanann maoirseacht rangú ar ábhar; ní thuigeann sí rún. Rachaidh teachtaireacht bharántúil chuí a dhéanann iarracht do chúntóir a bhriseadh (jailbreak) trí na scagairí seo go léir gan a bheith marcáilte fiú uair amháin. Sin ábhar an chinn chéadta eile.
Príomhphointí
- Tá an API Maoirseachta saor in aisce—úsáid go córasach é
- Déan maoirseacht ar ionchuir (ábhar úsáideora) AGUS ar aschuir (freagraí an mhúnla)
- Clúdaíonn an múnla
omni-moderation-latestgach catagóir ábhair - Déan logáil ar gach cinneadh maoirseachta chun iniúchta
- Úsáid próiseáil bhaisce chun toirteanna móra a mhaoirsiú go héifeachtúil
- Forlíonann maoirseacht treoracha an chórais; ní chuireann sí in ionad iad