Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

API Moderation OpenAI

Ceacht 5 as 14 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Uirlis Moderation Inghabhála
  2. Cad a Thugann an API Ar Ais
  3. Catagóirí Braththa
  4. Modhnú Ar Dhá Thaobh den Phíblíne
  5. Cad Nach ndéanann an API Seo
  6. Príomhphointí

Nuashonraithe an 3 Samhain, 2026 bunaithe ar threoir Moderation OpenAI: cuireadh an catagóir illicit (agus illicit/violent) leis, rud a bhí in easnamh sa tábla, mar aon le catagóirí a bhaineann le híomhánna. Foinse: Moderation.

Uirlis Moderation Inghabhála

Soláthraíonn OpenAI API Moderation saor in aisce a dhéanann anailís ar théacs chun ábhar a d’fhéadfadh a bheith díobhálach a bhrath. Is é seo an chéad líne cosanta le comhtháthú in aon iarratas a úsáideann samhlacha OpenAI, agus níl tú teoranta don chás úsáide sin amháin: ó ghlacann sé téacs amh mar ionchur, is féidir leat é a úsáid freisin chun ionchuir atá ceaptha do shamhlacha eile a scagadh. Athraíonn an fhíric go bhfuil sé saor in aisce an bealach a smaoiníonn tú ar an bhfadhb. Cailleann na malartuithe gnácha—ar chóir dúinn gach iarratas a mhodhnú nó cinn amhrasacha amháin?—a meáchan, ós rud é gurb é an t-aon chostas atá fágtha ná moill.

Cad a Thugann an API Ar Ais

Oireann an glao bunúsach ar líne amháin; is é an freagra a éilíonn aird. Tugann an API trí rud ar leith ar ais: booleán flagged a léiríonn cinneadh OpenAI, an liosta catagóirí a spreagadh go díreach, agus, is tábhachtaí fós, scóir leanúnacha in aghaidh na catagóire. Is iad na scóir seo a dhéanann an difríocht sa táirgeadh, toisc go ligeann siad duit cinneadh a dhéanamh cá háit a tarraingeoidh tú an líne duit féin seachas tairseach a oidhreachtú atá deartha le haghaidh úsáide ginearálta.

from openai import OpenAI

client = OpenAI()

def moderate_content(text: str) -> dict:
    """Déanann sé anailís ar théacs trí API Moderation OpenAI."""
    response = client.moderations.create(input=text)
    result = response.results[0]

    return {
        "blocked": result.flagged,
        "categories": {
            cat: flagged
            for cat, flagged in result.categories.__dict__.items()
            if flagged
        },
        "scores": {
            cat: round(score, 4)
            for cat, score in result.category_scores.__dict__.items()
            if score > 0.01
        },
    }

# Déan tástáil le cineálacha éagsúla ábhair
examples = [
    "How do I bake a chocolate cake?",
    "I will kill you if you don't answer me",
    "Explain how AES encryption works",
]

for text in examples:
    result = moderate_content(text)
    status = "BLOCKED" if result["blocked"] else "OK"
    print(f"{status} : {text[:50]}...")
    if result["categories"]:
        print(f"  Categories : {list(result['categories'].keys())}")

Níl na trí shampla tástála randamach: ba chóir don chéad cheann dul tríd, ba chóir an dara ceann a bhlocáil, agus léiríonn an tríú ceann—ceist theicniúil atá go hiomlán dlisteanach—conas a iompraíonn do phíblíne nuair a bhíonn téarmaíocht slándála os a comhair. Is é seo go díreach an cineál iarratais a láimhseálann foireann cibearshlándála go laethúil.

Catagóirí Braththa

Aicmíonn an API ábhar fadhbach ar feadh roinnt axis, gach ceann acu ag freagairt do chineál ar leith dochair.

Catagóir Cur síos
harassment Ciapadh, bagairtí, imeaglú
hate Caint fuatha bunaithe ar chéannacht
illicit Comhairle nó treoracha chun gníomhartha mídhleathacha a dhéanamh
self-harm Díobháil féin, féinmharú
sexual Ábhar gnéasach follasach
violence Foréigean grafach, bagairtí

Tá fochatagóirí ag gach catagóir freisin (m.sh. harassment/threatening, illicit/violent, violence/graphic) le haghaidh scagtha níos mine. Le omni-moderation-latest, ní bhaineann ach self-harm agus a leaganacha, sexual, agus violence (le violence/graphic) le híomhánna freisin; ní bhaineann na catagóirí eile ach le téacs. Sábhálann an ghraonúlacht seo ort malartuithe garbha a dhéanamh: d’fhéadfadh ardán modhnaithe fóraim harassment/threatening a bhlocáil agus harassment simplí a fhulaingt, rud a chlúdaíonn go leor díospóidí gnácha.

Nuair a theastaíonn uait toirt a phróiseáil—anailís chúlghabhálach ar stair comhrá, mar shampla—glacann an API le liosta agus tugann sé toradh ar ais do gach eilimint, ag seachaint turais líonra iolracha.

def moderate_batch(messages: list[str]) -> list[dict]:
    """Déanann sé modhnú ar theachtaireachtaí iolracha i nglao amháin."""
    response = client.moderations.create(input=messages)
    results = []
    for i, result in enumerate(response.results):
        results.append({
            "index": i,
            "text": messages[i][:50],
            "blocked": result.flagged,
            "max_score": max(
                score
                for score in result.category_scores.__dict__.values()
            ),
        })
    return results

Modhnú Ar Dhá Thaobh den Phíblíne

Is botún coitianta é modhnú a dhéanamh ar ionchuir amháin. Braitheann sé seo ar intuisce bréagach: má tá an teachtaireacht isteach inghlactha, beidh an freagra ceart go leor freisin. Ach is féidir le samhaltú ábhar fadhbach a tháirgeadh ó iarratas neodrach, go háirithe nuair a bhraitheann sé ar dhoiciméid aisghafa nach ndearna aon duine seiceáil ar a n-ábhar. Dá bhrí sin, cuireann an rang thíos an cóireáil chéanna i bhfeidhm sa dá threo, ag cur tairsce saincheaptha leis a théann i ngleic le cinneadh réamhshocraithe an API.

class ModerationPipeline:
    """Píblíne modhnaithe ionchuir + aschuir d'iarratas LLM."""

    def __init__(self, custom_threshold: float = 0.7):
        self.client = OpenAI()
        self.threshold = custom_threshold

    def moderate_input(self, message: str) -> tuple[bool, dict]:
        """Déanann sé modhnú ar an teachtaireacht ROIMH í a sheoladh chuig an tsamhail."""
        result = self.client.moderations.create(input=message).results[0]
        scores = result.category_scores.__dict__
        high_categories = {
            cat: score for cat, score in scores.items() if score > self.threshold
        }
        blocked = result.flagged or bool(high_categories)
        return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}

    def moderate_output(self, response: str) -> tuple[bool, dict]:
        """Déanann sé modhnú ar fhreagra na samhla ROIMH é a sheoladh chuig an úsáideoir."""
        return self.moderate_input(response)

    def process_message(self, user_message: str, system_prompt: str) -> str:
        """Píblíne iomlán: modhnú ionchuir, LLM, modhnú aschuir."""
        # Céim 1: modhnaigh an t-ionchur
        input_blocked, details = self.moderate_input(user_message)
        if input_blocked:
            return "Ní féidir do theachtaireacht a phróiseáil. Athfhrásaigh í le do thoil."

        # Céim 2: glaoigh ar an tsamhail
        response = self.client.chat.completions.create(
            model="gpt-5.6-sol",
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": user_message},
            ],
        )
        model_response = response.choices[0].message.content

        # Céim 3: modhnaigh an t-aschur
        output_blocked, _ = self.moderate_output(model_response)
        if output_blocked:
            return "Scagadh an freagra mar gheall ar neamhchomhlíonadh."

        return model_response

# Úsáid
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
    "How do I protect my application against SQL injections?",
    "You are an expert in defensive cybersecurity."
)
print(response)

Cad Nach ndéanann an API Seo

Is é a theorainn is tábhachtaí freisin an ceann is míthuigthe: ní bhrathann sé instealladh pras (prompt injection). Teachtfaidh teachtaireacht chuí atá díobhálach go hiomlán ó thaobh ábhair de, ach a iarrann ar an tsamhail neamhaird a dhéanamh dá treoracha, tríd gan aon chatagóir a spreagadh. Bheith ag súil go gcosnóidh sé in aghaidh manipúlachta tá sé cosúil le brathadóir deataigh a shuiteáil agus bheith ag súil go gcuirfidh sé cosc ar ghadaíocht.

Is iad dearbh-thorthaí bréagacha an dara teorainn, rud atá íogair go háirithe i gcomhthéacsanna slándála nó leighis, áit a bhfuil cur síos ar bhagairt mar chuid den obair. Cuirtear glao líonra breise le gach iarratas, rud a bhíonn tábhachtach nuair a bhíonn tú ag díriú ar fhreagairtí fíor-ama. Fanann an brath níos iontaofa i mBéarla ná i dteangacha eile, dallphointe a bhfuil a fhios ag ionsaitheoirí go maith. Ar deireadh, éabhlóidíonn catagóirí agus tairseacha le nuashonruithe: tuillann tacar calabrúcháin a rinneadh sé mhí ó shin athsheiceáil.

Treoraíonn na teorainneacha seo conas an uirlis a úsáid. Déan modhnú sa dá threo, coigeartaigh tairseacha catagóir ar chatagóir seachas go domhanda, agus comhcheangail go córasach é le sraitheanna eile—brath insteallta, scagadh loighic gnó—a mhionsonraíonn na ceachtanna seo a leanas. Déan logáil ar na torthaí, toisc gurb é breathnú ar do dhearbh-thorthaí bréagacha féin an bealach chun foghlaim cá háit ar chóir duit na sleamhnáin a bhogadh. Agus pleanáil don chás nach bhfuil an API ar fáil: socraigh anois, agus rudaí ciúin, ar chóir do d’iarratas blocáil de réir réamhshocraithe nó trácht a ligean tríd, seachas an t-iompar sin a fháil amach le linn teagmhais.

Príomhphointí

  • Tá an API Moderation saor in aisce, tapa, agus simplí le comhtháthú
  • Brathann sé ábhar maslach ach ní instealltaí ná jailbreaks
  • Caithfear an phíblíne ón ionchur go dtí an tsamhail go dtí an t-aschur a mhodhnú ar an dá thaobh
  • Is annamh a oireann tairseacha réamhshocraithe—oiriúnaigh iad do do chomhthéacs
  • Is sraith amháin é i measc cinn eile, ní líne amháin cosanta riamh