Móidearú ábhair ar scála
Ar an leathanach seo
An ceacht nuashonraithe an 3 Samhain, 2026 bunaithe ar dhoiciméadú OpenAI: ní ghlactar le
temperatureagustop_pach le hiarracht réasúnaíochta denone, cé go ndéanann samhlacha GPT-5.6 réasúnú go huathoibríoch (medium). Caithfidh glaonna a shocraíonn na paraiméadair seoreasoning={"effort": "none"}(API Freagraí) nóreasoning_effort="none"(Críochnú Comhrá) a shonrú dá bhrí sin. Foinse: GPT-6 a úsáid · GPT-5.6 Terra.
Do chuid úsáideoirí a chosaint i dtáirgeadh
Chomh luath agus a théann d’iarratas beo, caithfidh tú déileáil le hábhar neamhchuí—idir ar ionchur (leideanna mailíseacha) agus ar aschur (freagraí fadhbanna). Is minic a bhíonn an riachtanas dhá bhealach seo gan choinne ag foirne. Ceapann an chuid is mó daoine ar dtús faoi scagadh a dhéanamh ar an méid a sheolann úsáideoirí, ach tá an riosca cáileachta dírithe ar an méid a fhoilsíonn d’iarratas faoi d’ainm féin. Is annamh a ghineann samhail atá ailínithe go maith ábhar turraingtheach léi féin, ach is féidir léi é a dhéanamh nuair a bhrúitear í—agus tá do bhranda le feiceáil ag barr an scáileáin.
Bogfaimid ó ghlao API amháin go píblíne neamhshioncrónach ard-tháirgiúlachta, ag méadú céim ar chéim.
An chéad sraith: an API Móidearaithe
Déanann an API Móidearaithe téacs a aicmiú thar roinnt catagóirí riosca agus filleann sé breithiúnas dénártha chomh maith le scóir mhionsonraithe. Tá sé tapa agus saor in aisce, rud a fhágann gurb é an chéad scagaire nádúrtha é d’aon iarratas poiblí. Ní nochtann an fheidhm thíos ach catagóirí a bhfuil scóir os cionn 0.3 acu—tairseach atá íseal d’aon ghnó. Ag an gcéim seo, ba mhaith leat a fheiceáil cad atá ag druidim leis an líne, ní hamháin cad a sháraíonn í.
import openai
client = openai.OpenAI()
def moderate_content(text: str) -> dict:
"""Seiceáil an bhfuil ábhar neamhchuí sa téacs."""
response = client.moderations.create(
model="omni-moderation-latest",
input=text,
)
result = response.results[0]
return {
"flagged": result.flagged,
"categories": {
cat: score
for cat, score in result.category_scores.__dict__.items()
if score > 0.3
},
}
# Sampla
result = moderate_content("How do I bake a chocolate cake?")
print(f"Flagged: {result['flagged']}")
I dtáirgeadh, ní leor breithiúnas dénártha. Ag brath ar an ábhar agus ar an gcomhthéacs, b’fhéidir gur mhaith leat é a cheadú, é a athscríobh, é a bhlocáil, nó é a ardú chuig duine daonna—ceithre chinneadh ar leith ar chóir duit ainm a thabhairt orthu go sainráite sa chód seachas iad a impreasáil le booleanna. Foirmíonn an píblíne thíos na gníomhaíochtaí seo, cuireann sé tairseacha in aghaidh na catagóire i bhfeidhm, agus cuireann sé dara sraith leis chun instealladh leideanna a bhrath.
from enum import Enum
from dataclasses import dataclass
class ModerationAction(Enum):
ALLOW = "allow"
MODIFY = "modify"
BLOCK = "block"
ESCALATE = "escalate"
@dataclass
class ModerationResult:
action: ModerationAction
reason: str | None = None
modified_content: str | None = None
class ModerationPipeline:
"""Píblíne móidearaithe ilshraitheach."""
def __init__(self, thresholds: dict | None = None):
self.thresholds = thresholds or {
"harassment": 0.7,
"hate": 0.7,
"self-harm": 0.5,
"sexual": 0.7,
"violence": 0.7,
}
def moderate_input(self, text: str) -> ModerationResult:
"""Ábhar ionchuir a mhóidearú (leid úsáideora)."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=text,
)
result = moderation.results[0]
if result.flagged:
problematic_categories = [
cat for cat, flagged in result.categories.__dict__.items()
if flagged
]
return ModerationResult(
action=ModerationAction.BLOCK,
reason=f"Inappropriate content: {', '.join(problematic_categories)}",
)
# Brath instealladh leideanna
if self._detect_injection(text):
return ModerationResult(
action=ModerationAction.BLOCK,
reason="Prompt injection attempt detected",
)
return ModerationResult(action=ModerationAction.ALLOW)
def moderate_output(self, response: str) -> ModerationResult:
"""Ábhar aschuir a mhóidearú (freagra LLM)."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=response,
)
if moderation.results[0].flagged:
return ModerationResult(
action=ModerationAction.BLOCK,
reason="Generated response contains inappropriate content",
)
return ModerationResult(action=ModerationAction.ALLOW)
def _detect_injection(self, text: str) -> bool:
"""Iarrachtaí instealladh leideanna a bhrath."""
markers = [
"ignore previous instructions",
"ignore your instructions",
"forget your guidelines",
"you are now",
"new role",
"system prompt",
"jailbreak",
]
text_lower = text.lower()
return any(m in text_lower for m in markers)
Léiríonn an tairseach 0.5 do self-harm—níos déine ná an 0.7 a úsáidtear do chatagóirí eile—an réasúnaíocht ar chóir duit a chur i bhfeidhm ar gach tairseach. Anseo, níl costas dearbh-bhréag in aon áit chomh hard le costas diúlt-bhréag, mar sin íslíonn tú an tairseach. Déan an comhréiteach seo catagóir ar chatagóir, bunaithe ar do lucht éisteachta, seachas luach aonfhoirmeach a chur i bhfeidhm.
Tagann rabhadh le brath instealladh bunaithe ar mharcóirí. Gabhann sé iarrachtaí naïve, arb iad an chuid is mó den toirt, agus ní aon rud eile: sleamhnaíonn frásáil beagán difriúil nó leagan aistrithe tríd. Déileáil leis mar scagaire torainn, ní mar chosaint. Is ailtireachtúil í an chosaint fhíor in aghaidh instealladh—ná tabhair cumais don tsamhail ar féidir le leid fuadaithe leas a bhaint astu.
Ualach a láimhseáil
Ar iarratas a bhfuil trácht ard air, éiríonn móidearú sioncrónach ina bhac: fanann gach teachtaireacht lena breithiúnas sular féidir próiseáil a dhéanamh. Scarann móidearóir neamhshioncrónach na céimeanna seo trí ábhar a chur i scuaine le haghaidh tomhaltais ag oibrithe iolracha, agus é ag rianú staitisticí úsáideacha ar an mbealach chomh maith.
import asyncio
class AsyncModerator:
"""Ábhar a mhóidearú go neamhshioncrónach le haghaidh ard-tháirgiúlachta."""
def __init__(self, num_workers: int = 10):
self.pipeline = ModerationPipeline()
self.queue: asyncio.Queue = asyncio.Queue()
self.num_workers = num_workers
self.stats = {"allowed": 0, "blocked": 0, "escalated": 0}
async def worker(self):
while True:
task = await self.queue.get()
try:
result = self.pipeline.moderate_input(task["text"])
task["callback"](result)
match result.action:
case ModerationAction.ALLOW:
self.stats["allowed"] += 1
case ModerationAction.BLOCK:
self.stats["blocked"] += 1
case ModerationAction.ESCALATE:
self.stats["escalated"] += 1
finally:
self.queue.task_done()
async def start(self):
for _ in range(self.num_workers):
asyncio.create_task(self.worker())
def report(self) -> str:
total = sum(self.stats.values())
if total == 0:
return "No content moderated."
return (
f"Total: {total} | "
f"Allowed: {self.stats['allowed']} ({self.stats['allowed']/total:.1%}) | "
f"Blocked: {self.stats['blocked']} ({self.stats['blocked']/total:.1%})"
)
Is é an ráta blocála a tháirgeann report do phríomh-mhéadrach calabrúcháin. Má léimeann sé go tobann go 15% tar éis dó a bheith ag rith ag 0.5%, níl ach dhá mhíniú ann: tá tú faoi ionsaí comhordaithe, nó bhris tú do thairseacha. I ngach cás, ba mhaith leat a bheith ar an eolas laistigh den uair, ní ag an gcéad athbhreithniú míosúil eile.
Is fiú teorainn dheireanach a lua: níl a fhios ag an API Móidearaithe faoi do ghnó. D’fhéadfadh teachtaireacht atá inghlactha go hiomlán go ginearálta do rialacha féin a shárú—iarraidh ar chomhairle leighis ó chúntóir baincéireachta, iarracht ráta lasmuigh den ghreille a fháil, nó nós imeachta a sheachaint. Cuireann móidearú comhthéacsúil an sraith seo leis trí theachtaireacht a chur faoi bhráid samhail le do rialacha sainráite, ach amháin tar éis don scagaire caighdeánach í a cheadú tríd.
def contextual_moderation(
text: str,
app_context: str,
business_rules: list[str],
) -> ModerationResult:
"""Móidearú atá feasach ar chomhthéacs agus oiriúnaithe don iarratas."""
pipeline = ModerationPipeline()
standard_result = pipeline.moderate_input(text)
if standard_result.action == ModerationAction.BLOCK:
return standard_result
verification_prompt = (
f"Application context: {app_context}\n\n"
f"Business rules to verify:\n"
+ "\n".join(f"- {r}" for r in business_rules)
+ f"\n\nUser message: {text}\n\n"
"Does the message comply with all rules? "
"Answer yes or no with a brief justification."
)
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature requires effort none
input=verification_prompt,
max_output_tokens=100,
temperature=0.0,
)
if "no" in response.output_text.lower()[:10]:
return ModerationResult(
action=ModerationAction.BLOCK,
reason=response.output_text,
)
return ModerationResult(action=ModerationAction.ALLOW)
Tá tábhacht le hord na seiceálacha seo dhá cheann. Ritear an scagaire saor in aisce, tapa ar dtús, agus ní tharlaíonn an glao samhail íoctha ach do theachtaireachtaí a théann tríd. Ar thrácht fíor, clúdaíonn sé seo beagnach gach teachtaireacht. Bheadh sé dramhaíleach an t-inbhéarta a dhéanamh—íoc as glao samhail ar ábhar a dhiúltódh an API Móidearaithe i millisoicindí.
Taifead inchosanta a choinneáil
Is cinneadh é cinneadh móidearaithe a mbeidh tú freagrach as, ar bhealach amháin nó ar bhealach eile. Teastaíonn logáil uait—ach ceann nach ndéanann fadhb de féin. Aibhsíonn an nóta sa chód an líne is tábhachtaí sa chomhad: taifead an gníomh, an chúis, agus an fad, gan an téacs amh a riamh. Nochtann teachtaireachtaí úsáideoirí a stóráil i gcomhad logála duit oibleagáidí cosanta sonraí atá i bhfad níos troime ná an tseirbhís a soláthraíodh.
import json
import time
from pathlib import Path
class ModerationLog:
"""Gach cinneadh móidearaithe a logáil chun críche iniúchta."""
def __init__(self, log_path: str = "logs/moderation.jsonl"):
self.path = Path(log_path)
self.path.parent.mkdir(parents=True, exist_ok=True)
def record(
self,
text: str,
result: ModerationResult,
source: str = "input",
):
entry = {
"timestamp": time.time(),
"source": source,
"action": result.action.value,
"reason": result.reason,
"text_length": len(text),
# DO NOT log raw text for privacy
}
with open(self.path, "a") as f:
f.write(json.dumps(entry) + "\n")
Má tá ort teachtaireacht ar leith a aisghabháil fós le linn díospóide, logáil hais den téacs seachas an téacs féin. Ligeann sé seo duit a dheimhniú go n-oireann píosa áirithe ábhair do chinneadh taifeadta gan an t-ábhar a choinneáil ar do thaobh.
Príomhphointí
- Déan móidearú ar ionchuir (leideanna) agus ar aschuir (freagraí) araon
- Úsáid an API Móidearaithe mar do chéad sraith, tapa, saor in aisce
- Coigeartaigh tairseacha catagóir ar chatagóir bunaithe ar chostas fíor dhiúlt-bhréag
- Cuir brath instealladh leis ag tuiscint nach ngabhann sé ach iarrachtaí naïve
- Logáil gach cinneadh le haghaidh iniúchta gan ábhar amh a stóráil