Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Maoirseacht Ábhair leis an API

Ceacht 19 as 22 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Maoirseacht Ábhair leis an API
  2. An API Maoirseachta
  3. Catagóirí Maoirseachta
  4. Píblíne Iomlán Maoirseachta
  5. Maoirseacht Bhaisce
  6. Logáil Maoirseachta
  7. Príomhphointí

Nuashonraithe an 3 Samhain, 2026 bunaithe ar threoir Maoirseachta OpenAI: bhí na catagóirí illicit agus illicit/violent don mhúnla omni-moderation-latest in easnamh ón liosta agus ón gcód. Foinse: Maoirseacht.

Maoirseacht Ábhair leis an API

Braithfidh API Maoirseachta OpenAI ábhar neamhchuí go huathoibríoch. Is uirlis saor in aisce, riachtanach í d’aon fheidhmchlár a ghlacann ábhar ó úsáideoirí. Sa cheacht roimhe seo, d’fhoghlaim tú conas scagairí saincheaptha a scríobh; sa cheacht seo, gheobhaidh tú aicmitheoir oilte a bhrathfaidh rudaí nach mbraithfidh slonn rialta riamh—bagairtí folaithe, masluithe indíreacha, agus frásaíocht implíoch.

An API Maoirseachta

Tá an glao beartaithe a bheith íostach: múnla amháin, téacs amháin, agus toradh a fhiuchann síos go boole. Freagraíonn an réimse flagged an cheist dhénártha, “An sáraíonn an t-ábhar seo polasaithe úsáide?” agus míníonn categories cinn díobh. Ós rud é go bhfuil an críochphointe seo saor in aisce, níl aon chúis eacnamaíoch gan é a úsáid, fiú ag toirteanna arda.

from openai import OpenAI
client = OpenAI()

# Tá an API Maoirseachta SAOR IN AISCE
moderation = client.moderations.create(
    model="omni-moderation-latest",
    input="Hello, how are you?"
)

result = moderation.results[0]
print(f"Content flagged: {result.flagged}")
print(f"Categories: {result.categories}")

# Toradh:
# Content flagged: False
# Categories: Categories(harassment=False, hate=False, ...)

Catagóirí Maoirseachta

Taobh thiar den bhoole tá greille mínghráinneach. Tugann an múnla cinneadh in aghaidh na catagóire—ciapadh, ciapadh bagarthach, fuath, fuath bagarthach, treoracha do ghníomhartha mídhleathacha (le foréigean nó gan é), féin-dhochar lena leaganacha (treoracha agus rún), ábhar gnéasach, ábhar gnéasach ina bhfuil mionaoisigh i gceist, foréigean, agus foréigean grafach—mar aon le scór muiníne idir 0.0 agus 1.0 do gach ceann.

Tá na scóir seo níos tábhachtaí ná an cinneadh dénártha nuair is mian leat do pholasaithe a chalabrú. D’fhéadfadh ardán fóraim ghairmiúil bac a chur ag 0.3 do chiapadh, ach d’fhéadfadh seirbhís ficsean glacadh le 0.7 do fhoréigean. Nochtann an fheidhm thíos an dá leibhéal léargais: na catagóirí a spreagadh go díreach, agus na scóir amha do do thairseacha féin.

def analyze_moderation(text: str) -> dict:
    """Anailís mhionsonraithe ar mhaoirseacht."""
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=text
    )

    result = moderation.results[0]

    # Catagóirí atá ar fáil
    categories = {
        "harassment": result.categories.harassment,
        "harassment_threatening": result.categories.harassment_threatening,
        "hate": result.categories.hate,
        "hate_threatening": result.categories.hate_threatening,
        "illicit": result.categories.illicit,
        "illicit_violent": result.categories.illicit_violent,
        "self_harm": result.categories.self_harm,
        "self_harm_instructions": result.categories.self_harm_instructions,
        "self_harm_intent": result.categories.self_harm_intent,
        "sexual": result.categories.sexual,
        "sexual_minors": result.categories.sexual_minors,
        "violence": result.categories.violence,
        "violence_graphic": result.categories.violence_graphic,
    }

    # Scóir muiníne (0.0 go 1.0)
    scores = {
        "harassment": result.category_scores.harassment,
        "hate": result.category_scores.hate,
        "self_harm": result.category_scores.self_harm,
        "sexual": result.category_scores.sexual,
        "violence": result.category_scores.violence,
    }

    return {
        "flagged": result.flagged,
        "detected_categories": [k for k, v in categories.items() if v],
        "main_scores": {k: round(v, 4) for k, v in scores.items()},
    }

# Tástáil
result = analyze_moderation("Hello everyone!")
print(f"Flagged: {result['flagged']}")
print(f"Scores: {result['main_scores']}")

Píblíne Iomlán Maoirseachta

Maoirseacht ar Ionchuir Úsáideoirí

Déanaimis an glao seo a chur i gcomhpháirt in-athúsáidte. Tugann ContentModerator péire sainráite ar ais—inghlactha nó nach ea, leis an gcúis—seachas oibiacht amh a bheadh ar gach glaodóir a léirmhíniú arís. Tá sé tábhachtach catagóirí a aistriú go teanga shoiléir: seo an foclóir a bheidh le feiceáil i d’chomhéadan agus i do logaí, agus caithfidh sé a bheith intuigthe ag an bhfoireann mhaoirseachta dhaonna a ghlacfaidh seilbh air.

class ContentModerator:
    """Maoirseoir ábhair d'fheidhmchláir."""

    def __init__(self, custom_threshold: float = 0.5):
        self.client = OpenAI()
        self.threshold = custom_threshold

    def moderate(self, text: str) -> tuple[bool, dict]:
        """Déanann maoirseacht ar théacs. Tugann sé ar ais (is_inghlactha, sonraí)."""
        moderation = self.client.moderations.create(
            model="omni-moderation-latest",
            input=text
        )

        result = moderation.results[0]

        if result.flagged:
            categories = []
            if result.categories.harassment:
                categories.append("harassment")
            if result.categories.hate:
                categories.append("hate speech")
            if result.categories.sexual:
                categories.append("sexual content")
            if result.categories.violence:
                categories.append("violence")
            if result.categories.self_harm:
                categories.append("self-harm")

            return False, {
                "reason": "Inappropriate content detected",
                "categories": categories
            }

        return True, {"reason": "Content acceptable"}

    def moderate_conversation(self, messages: list[str]) -> list[dict]:
        """Déanann maoirseacht ar liosta teachtaireachtaí."""
        results = []
        for msg in messages:
            acceptable, details = self.moderate(msg)
            results.append({
                "message": msg[:50] + "..." if len(msg) > 50 else msg,
                "acceptable": acceptable,
                **details
            })
        return results

# Úsáid
moderator = ContentModerator()
acceptable, details = moderator.moderate("Hello, how can I help you?")
print(f"Acceptable: {acceptable}")
print(f"Details: {details}")

Comhtháthú sa Phíblíne API

Cuireann maoirseacht creatlach timpeall an ghlao ar an dá thaobh. Seachnaíonn scagadh ionchuir íoc as giniúint ar ábhar a dhiúltófá ar any chaoi; cosnaíonn scagadh aschuir i gcoinne cásanna ina dtáirgeann an múnla, dá gcuirfí ar bhealach oilte é, rud neamh-inghlactha leis féin. Tabhair faoi deara an difríocht sa láimhseáil: maidir le hionchur, is féidir leat a rá leis an úsáideoir cad a brathadh, ós rud é gurb iadsan a scríobh é; maidir le haschur, fanann an teachtaireacht doiléir, toisc go gciallódh cur síos air an rud a tháirg an múnla a mhíniú díreach.

def moderated_chatbot(user_input: str) -> str:
    """Chatbot le maoirseacht ar IONCHUIR agus ASCHUIR araon."""
    moderator = ContentModerator()

    # 1. Déan maoirseacht ar an ionchur
    input_ok, input_details = moderator.moderate(user_input)
    if not input_ok:
        return (f"Your message was blocked: "
                f"{', '.join(input_details['categories'])}")

    # 2. Giniúint freagartha
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions="Respond in a professional and safe manner.",
        input=user_input
    )

    # 3. Déan maoirseacht ar an aschur
    output_ok, output_details = moderator.moderate(response.output_text)
    if not output_ok:
        return "I am unable to provide that response."

    return response.output_text

# Tástáil
print(moderated_chatbot("What is the capital of France?"))

Maoirseacht Bhaisce

Cuireann an glao dúbailte seo moill leis, rud atá inghlactha i gcomhrá ach a éiríonn coscach nuair a theastaíonn uait deich míle léirmheas custaiméara a phróiseáil a allmhairíodh ó chomhad. Chun toirteanna móra a mhaoirsiú go héifeachtúil, pasáil eagar díreach: próiseálann an API gach téacs in aon iarratas amháin agus tugann sé torthaí ar ais san ord céanna, rud a ligeann duit iad a athcheangal de réir innéacs.

def moderate_batch(texts: list[str]) -> list[dict]:
    """Déanann maoirseacht ar théacsanna iolracha in aon iarratas amháin."""
    results = []

    # Glacann an API le eagar ionchur
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=texts
    )

    for i, result in enumerate(moderation.results):
        results.append({
            "index": i,
            "text_preview": texts[i][:50],
            "flagged": result.flagged,
        })

    flagged_count = sum(1 for r in results if r["flagged"])
    print(f"Moderated {len(texts)} texts: {flagged_count} flagged")

    return results

# Úsáid
texts = [
    "Hello, how are you?",
    "Great product, I recommend it!",
    "Customer service is excellent.",
]
results = moderate_batch(texts)

Logáil Maoirseachta

Bíonn tionchar ag cinneadh maoirseachta ar úsáideoir, agus beidh ort é a chosaint sooner nó later—cé acu le custaiméir ag cur in aghaidh bac nó le rialálaí. Dá bhrí sin, déan logáil córasach ar an mbreithiúnas, ar ID an úsáideora, ar na scóir, agus ar blúire téacs. Déanann an leibhéal logála idirdhealú idir an dá chás: warning d’ábhar atá marcáilte, rud a thuilleann athbhreithniú daonna, agus info don chuid eile, a chothaíonn do staitisticí.

import json
import logging
from datetime import datetime

logger = logging.getLogger("moderation")

def moderate_with_log(text: str, user_id: str = "anonymous") -> bool:
    """Déanann maoirseacht agus logálann sé an toradh chun iniúchta."""
    moderation = client.moderations.create(
        model="omni-moderation-latest",
        input=text
    )

    result = moderation.results[0]

    log_entry = {
        "timestamp": datetime.now().isoformat(),
        "user_id": user_id,
        "flagged": result.flagged,
        "text_preview": text[:100],
        "scores": {
            "harassment": round(result.category_scores.harassment, 4),
            "hate": round(result.category_scores.hate, 4),
            "violence": round(result.category_scores.violence, 4),
        }
    }

    if result.flagged:
        logger.warning(json.dumps(log_entry))
    else:
        logger.info(json.dumps(log_entry))

    return not result.flagged

# Úsáid
is_ok = moderate_with_log("Test message", user_id="user-123")

Rabhchadh deireanach sula dtéann tú ar aghaidh: déanann maoirseacht rangú ar ábhar; ní thuigeann sí rún. Rachaidh teachtaireacht bharántúil chuí a dhéanann iarracht do chúntóir a bhriseadh (jailbreak) trí na scagairí seo go léir gan a bheith marcáilte fiú uair amháin. Sin ábhar an chinn chéadta eile.

Príomhphointí

  • Tá an API Maoirseachta saor in aisce—úsáid go córasach é
  • Déan maoirseacht ar ionchuir (ábhar úsáideora) AGUS ar aschuir (freagraí an mhúnla)
  • Clúdaíonn an múnla omni-moderation-latest gach catagóir ábhair
  • Déan logáil ar gach cinneadh maoirseachta chun iniúchta
  • Úsáid próiseáil bhaisce chun toirteanna móra a mhaoirsiú go héifeachtúil
  • Forlíonann maoirseacht treoracha an chórais; ní chuireann sí in ionad iad