Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Móidearú ábhair ar scála

Ceacht 19 as 20 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Do chuid úsáideoirí a chosaint i dtáirgeadh
  2. An chéad sraith: an API Móidearaithe
  3. Ualach a láimhseáil
  4. Taifead inchosanta a choinneáil
  5. Príomhphointí

An ceacht nuashonraithe an 3 Samhain, 2026 bunaithe ar dhoiciméadú OpenAI: ní ghlactar le temperature agus top_p ach le hiarracht réasúnaíochta de none, cé go ndéanann samhlacha GPT-5.6 réasúnú go huathoibríoch (medium). Caithfidh glaonna a shocraíonn na paraiméadair seo reasoning={"effort": "none"} (API Freagraí) nó reasoning_effort="none" (Críochnú Comhrá) a shonrú dá bhrí sin. Foinse: GPT-6 a úsáid · GPT-5.6 Terra.

Do chuid úsáideoirí a chosaint i dtáirgeadh

Chomh luath agus a théann d’iarratas beo, caithfidh tú déileáil le hábhar neamhchuí—idir ar ionchur (leideanna mailíseacha) agus ar aschur (freagraí fadhbanna). Is minic a bhíonn an riachtanas dhá bhealach seo gan choinne ag foirne. Ceapann an chuid is mó daoine ar dtús faoi scagadh a dhéanamh ar an méid a sheolann úsáideoirí, ach tá an riosca cáileachta dírithe ar an méid a fhoilsíonn d’iarratas faoi d’ainm féin. Is annamh a ghineann samhail atá ailínithe go maith ábhar turraingtheach léi féin, ach is féidir léi é a dhéanamh nuair a bhrúitear í—agus tá do bhranda le feiceáil ag barr an scáileáin.

Bogfaimid ó ghlao API amháin go píblíne neamhshioncrónach ard-tháirgiúlachta, ag méadú céim ar chéim.

An chéad sraith: an API Móidearaithe

Déanann an API Móidearaithe téacs a aicmiú thar roinnt catagóirí riosca agus filleann sé breithiúnas dénártha chomh maith le scóir mhionsonraithe. Tá sé tapa agus saor in aisce, rud a fhágann gurb é an chéad scagaire nádúrtha é d’aon iarratas poiblí. Ní nochtann an fheidhm thíos ach catagóirí a bhfuil scóir os cionn 0.3 acu—tairseach atá íseal d’aon ghnó. Ag an gcéim seo, ba mhaith leat a fheiceáil cad atá ag druidim leis an líne, ní hamháin cad a sháraíonn í.

import openai

client = openai.OpenAI()

def moderate_content(text: str) -> dict:
    """Seiceáil an bhfuil ábhar neamhchuí sa téacs."""
    response = client.moderations.create(
        model="omni-moderation-latest",
        input=text,
    )

    result = response.results[0]
    return {
        "flagged": result.flagged,
        "categories": {
            cat: score
            for cat, score in result.category_scores.__dict__.items()
            if score > 0.3
        },
    }

# Sampla
result = moderate_content("How do I bake a chocolate cake?")
print(f"Flagged: {result['flagged']}")

I dtáirgeadh, ní leor breithiúnas dénártha. Ag brath ar an ábhar agus ar an gcomhthéacs, b’fhéidir gur mhaith leat é a cheadú, é a athscríobh, é a bhlocáil, nó é a ardú chuig duine daonna—ceithre chinneadh ar leith ar chóir duit ainm a thabhairt orthu go sainráite sa chód seachas iad a impreasáil le booleanna. Foirmíonn an píblíne thíos na gníomhaíochtaí seo, cuireann sé tairseacha in aghaidh na catagóire i bhfeidhm, agus cuireann sé dara sraith leis chun instealladh leideanna a bhrath.

from enum import Enum
from dataclasses import dataclass

class ModerationAction(Enum):
    ALLOW = "allow"
    MODIFY = "modify"
    BLOCK = "block"
    ESCALATE = "escalate"

@dataclass
class ModerationResult:
    action: ModerationAction
    reason: str | None = None
    modified_content: str | None = None

class ModerationPipeline:
    """Píblíne móidearaithe ilshraitheach."""

    def __init__(self, thresholds: dict | None = None):
        self.thresholds = thresholds or {
            "harassment": 0.7,
            "hate": 0.7,
            "self-harm": 0.5,
            "sexual": 0.7,
            "violence": 0.7,
        }

    def moderate_input(self, text: str) -> ModerationResult:
        """Ábhar ionchuir a mhóidearú (leid úsáideora)."""
        moderation = client.moderations.create(
            model="omni-moderation-latest",
            input=text,
        )

        result = moderation.results[0]
        if result.flagged:
            problematic_categories = [
                cat for cat, flagged in result.categories.__dict__.items()
                if flagged
            ]
            return ModerationResult(
                action=ModerationAction.BLOCK,
                reason=f"Inappropriate content: {', '.join(problematic_categories)}",
            )

        # Brath instealladh leideanna
        if self._detect_injection(text):
            return ModerationResult(
                action=ModerationAction.BLOCK,
                reason="Prompt injection attempt detected",
            )

        return ModerationResult(action=ModerationAction.ALLOW)

    def moderate_output(self, response: str) -> ModerationResult:
        """Ábhar aschuir a mhóidearú (freagra LLM)."""
        moderation = client.moderations.create(
            model="omni-moderation-latest",
            input=response,
        )

        if moderation.results[0].flagged:
            return ModerationResult(
                action=ModerationAction.BLOCK,
                reason="Generated response contains inappropriate content",
            )

        return ModerationResult(action=ModerationAction.ALLOW)

    def _detect_injection(self, text: str) -> bool:
        """Iarrachtaí instealladh leideanna a bhrath."""
        markers = [
            "ignore previous instructions",
            "ignore your instructions",
            "forget your guidelines",
            "you are now",
            "new role",
            "system prompt",
            "jailbreak",
        ]
        text_lower = text.lower()
        return any(m in text_lower for m in markers)

Léiríonn an tairseach 0.5 do self-harm—níos déine ná an 0.7 a úsáidtear do chatagóirí eile—an réasúnaíocht ar chóir duit a chur i bhfeidhm ar gach tairseach. Anseo, níl costas dearbh-bhréag in aon áit chomh hard le costas diúlt-bhréag, mar sin íslíonn tú an tairseach. Déan an comhréiteach seo catagóir ar chatagóir, bunaithe ar do lucht éisteachta, seachas luach aonfhoirmeach a chur i bhfeidhm.

Tagann rabhadh le brath instealladh bunaithe ar mharcóirí. Gabhann sé iarrachtaí naïve, arb iad an chuid is mó den toirt, agus ní aon rud eile: sleamhnaíonn frásáil beagán difriúil nó leagan aistrithe tríd. Déileáil leis mar scagaire torainn, ní mar chosaint. Is ailtireachtúil í an chosaint fhíor in aghaidh instealladh—ná tabhair cumais don tsamhail ar féidir le leid fuadaithe leas a bhaint astu.

Ualach a láimhseáil

Ar iarratas a bhfuil trácht ard air, éiríonn móidearú sioncrónach ina bhac: fanann gach teachtaireacht lena breithiúnas sular féidir próiseáil a dhéanamh. Scarann móidearóir neamhshioncrónach na céimeanna seo trí ábhar a chur i scuaine le haghaidh tomhaltais ag oibrithe iolracha, agus é ag rianú staitisticí úsáideacha ar an mbealach chomh maith.

import asyncio

class AsyncModerator:
    """Ábhar a mhóidearú go neamhshioncrónach le haghaidh ard-tháirgiúlachta."""

    def __init__(self, num_workers: int = 10):
        self.pipeline = ModerationPipeline()
        self.queue: asyncio.Queue = asyncio.Queue()
        self.num_workers = num_workers
        self.stats = {"allowed": 0, "blocked": 0, "escalated": 0}

    async def worker(self):
        while True:
            task = await self.queue.get()
            try:
                result = self.pipeline.moderate_input(task["text"])
                task["callback"](result)

                match result.action:
                    case ModerationAction.ALLOW:
                        self.stats["allowed"] += 1
                    case ModerationAction.BLOCK:
                        self.stats["blocked"] += 1
                    case ModerationAction.ESCALATE:
                        self.stats["escalated"] += 1
            finally:
                self.queue.task_done()

    async def start(self):
        for _ in range(self.num_workers):
            asyncio.create_task(self.worker())

    def report(self) -> str:
        total = sum(self.stats.values())
        if total == 0:
            return "No content moderated."
        return (
            f"Total: {total} | "
            f"Allowed: {self.stats['allowed']} ({self.stats['allowed']/total:.1%}) | "
            f"Blocked: {self.stats['blocked']} ({self.stats['blocked']/total:.1%})"
        )

Is é an ráta blocála a tháirgeann report do phríomh-mhéadrach calabrúcháin. Má léimeann sé go tobann go 15% tar éis dó a bheith ag rith ag 0.5%, níl ach dhá mhíniú ann: tá tú faoi ionsaí comhordaithe, nó bhris tú do thairseacha. I ngach cás, ba mhaith leat a bheith ar an eolas laistigh den uair, ní ag an gcéad athbhreithniú míosúil eile.

Is fiú teorainn dheireanach a lua: níl a fhios ag an API Móidearaithe faoi do ghnó. D’fhéadfadh teachtaireacht atá inghlactha go hiomlán go ginearálta do rialacha féin a shárú—iarraidh ar chomhairle leighis ó chúntóir baincéireachta, iarracht ráta lasmuigh den ghreille a fháil, nó nós imeachta a sheachaint. Cuireann móidearú comhthéacsúil an sraith seo leis trí theachtaireacht a chur faoi bhráid samhail le do rialacha sainráite, ach amháin tar éis don scagaire caighdeánach í a cheadú tríd.

def contextual_moderation(
    text: str,
    app_context: str,
    business_rules: list[str],
) -> ModerationResult:
    """Móidearú atá feasach ar chomhthéacs agus oiriúnaithe don iarratas."""
    pipeline = ModerationPipeline()
    standard_result = pipeline.moderate_input(text)

    if standard_result.action == ModerationAction.BLOCK:
        return standard_result

    verification_prompt = (
        f"Application context: {app_context}\n\n"
        f"Business rules to verify:\n"
        + "\n".join(f"- {r}" for r in business_rules)
        + f"\n\nUser message: {text}\n\n"
        "Does the message comply with all rules? "
        "Answer yes or no with a brief justification."
    )

    response = client.responses.create(
        model="gpt-5.6-terra",
        reasoning={"effort": "none"},  # temperature requires effort none
        input=verification_prompt,
        max_output_tokens=100,
        temperature=0.0,
    )

    if "no" in response.output_text.lower()[:10]:
        return ModerationResult(
            action=ModerationAction.BLOCK,
            reason=response.output_text,
        )

    return ModerationResult(action=ModerationAction.ALLOW)

Tá tábhacht le hord na seiceálacha seo dhá cheann. Ritear an scagaire saor in aisce, tapa ar dtús, agus ní tharlaíonn an glao samhail íoctha ach do theachtaireachtaí a théann tríd. Ar thrácht fíor, clúdaíonn sé seo beagnach gach teachtaireacht. Bheadh sé dramhaíleach an t-inbhéarta a dhéanamh—íoc as glao samhail ar ábhar a dhiúltódh an API Móidearaithe i millisoicindí.

Taifead inchosanta a choinneáil

Is cinneadh é cinneadh móidearaithe a mbeidh tú freagrach as, ar bhealach amháin nó ar bhealach eile. Teastaíonn logáil uait—ach ceann nach ndéanann fadhb de féin. Aibhsíonn an nóta sa chód an líne is tábhachtaí sa chomhad: taifead an gníomh, an chúis, agus an fad, gan an téacs amh a riamh. Nochtann teachtaireachtaí úsáideoirí a stóráil i gcomhad logála duit oibleagáidí cosanta sonraí atá i bhfad níos troime ná an tseirbhís a soláthraíodh.

import json
import time
from pathlib import Path

class ModerationLog:
    """Gach cinneadh móidearaithe a logáil chun críche iniúchta."""

    def __init__(self, log_path: str = "logs/moderation.jsonl"):
        self.path = Path(log_path)
        self.path.parent.mkdir(parents=True, exist_ok=True)

    def record(
        self,
        text: str,
        result: ModerationResult,
        source: str = "input",
    ):
        entry = {
            "timestamp": time.time(),
            "source": source,
            "action": result.action.value,
            "reason": result.reason,
            "text_length": len(text),
            # DO NOT log raw text for privacy
        }

        with open(self.path, "a") as f:
            f.write(json.dumps(entry) + "\n")

Má tá ort teachtaireacht ar leith a aisghabháil fós le linn díospóide, logáil hais den téacs seachas an téacs féin. Ligeann sé seo duit a dheimhniú go n-oireann píosa áirithe ábhair do chinneadh taifeadta gan an t-ábhar a choinneáil ar do thaobh.

Príomhphointí

  • Déan móidearú ar ionchuir (leideanna) agus ar aschuir (freagraí) araon
  • Úsáid an API Móidearaithe mar do chéad sraith, tapa, saor in aisce
  • Coigeartaigh tairseacha catagóir ar chatagóir bunaithe ar chostas fíor dhiúlt-bhréag
  • Cuir brath instealladh leis ag tuiscint nach ngabhann sé ach iarrachtaí naïve
  • Logáil gach cinneadh le haghaidh iniúchta gan ábhar amh a stóráil