Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-API ta' Moderazzjoni ta' OpenAI

Lezzjoni 5 / 14 Aġġornat 3 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Għodda ta’ Moderazzjoni Mibnija ġewwa
  2. X’tirritorna l-API
  3. Kategoriji Skoperti
  4. Il-Moderazzjoni taż-Żewġ Truf tal-Pipeline
  5. X’ma Tagħmilx Din l-API
  6. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru, 2026 abbażi tal-gwida Moderation ta’ OpenAI: żdiedet il-kategorija illicit (u illicit/violent), li kienet nieqsa mit-tabella, flimkien ma’ kategoriji li japplikaw għall-immaġnijiet. Sors: Moderation.

Għodda ta’ Moderazzjoni Mibnija ġewwa

OpenAI tipprovdi API ta’ Moderazzjoni b’xejn li tanalizza t-test biex tiskopri kontenut potenzjalment ta’ ħsara. Din hija l-ewwel linja ta’ difuża li għandek tintegra f’kull applikazzjoni li tuża mudelli ta’ OpenAI, u m’intix limitat għal dan il-każ biss: peress li taċċetta test raw bħala input, tista’ tużaha wkoll biex tiffiltra inputs maħsuba għal mudelli oħra. Il-fatt li hija b’xejn ibiddel il-mod kif taħseb dwar il-problema. Il-kompromessi usuali—għandna nmoderaw kull talba jew dawk suspettużi biss?—jitilfu l-piż tagħhom, peress li l-uniku kost li jifdal huwa l-latency.

X’tirritorna l-API

Is-sejħa bażika tidħol f’linja waħda; ir-risposta hija dak li jeħtieġ attenzjoni. L-API tirritorna tliet affarijiet distinti: boolean flagged li jirrifletti d-deċiżjoni ta’ OpenAI, il-lista ta’ kategoriji attwalment attivati, u, l-aktar importanti, punteġġi kontinwi għal kull kategorija. Dawn il-punteġġi huma dak li jagħmlu d-differenza fil-produzzjoni, għax iħalluk tiddeċiedi fejn trid tiġbed il-linja inti stess minflok tirrita threshold iddisinjat għal użu ġeneriku.

from openai import OpenAI

client = OpenAI()

def moderate_content(text: str) -> dict:
    """Janalizza t-test permezz tal-API ta' Moderazzjoni ta' OpenAI."""
    response = client.moderations.create(input=text)
    result = response.results[0]

    return {
        "blocked": result.flagged,
        "categories": {
            cat: flagged
            for cat, flagged in result.categories.__dict__.items()
            if flagged
        },
        "scores": {
            cat: round(score, 4)
            for cat, score in result.category_scores.__dict__.items()
            if score > 0.01
        },
    }

# Ittestja b'tipi differenti ta' kontenut
examples = [
    "How do I bake a chocolate cake?",
    "I will kill you if you don't answer me",
    "Explain how AES encryption works",
]

for text in examples:
    result = moderate_content(text)
    status = "BLOCKED" if result["blocked"] else "OK"
    print(f"{status} : {text[:50]}...")
    if result["categories"]:
        print(f"  Categories : {list(result['categories'].keys())}")

It-tliet eżempji tat-test mhumiex każwali: l-ewwel wieħed għandu jgħaddi, it-tieni għandu jiġi bblokkjat, u t-tielet—mistoqsija teknika perfettament leġittima—jurik kif iġib ruħu l-pipeline tiegħek meta jiffaċċja vokabolarju tas-sigurtà. Dan huwa eżattament it-tip ta’ talba li timmaniġġja tim taċ-ċibersigurtà kuljum.

Kategoriji Skoperti

L-API tikklassifika kontenut problematiku tul diversi assi, li kull wieħed jikkorrispondi għal tip distint ta’ ħsara.

Category Description
harassment Harassment, threats, intimidation
hate Hate speech based on identity
illicit Advice or instructions for committing illicit acts
self-harm Self-harm, suicide
sexual Explicit sexual content
violence Graphic violence, threats

Kull kategorija għandha wkoll sottokategoriji (eż. harassment/threatening, illicit/violent, violence/graphic) għal filtrazzjoni aktar fina. Ma’ omni-moderation-latest, biss self-harm u l-varjanti tiegħu, sexual, u violence (ma’ violence/graphic) japplikaw ukoll għall-immaġnijiet; il-kategoriji l-oħra japplikaw biss għat-test. Din il-granularità tiffrankalek milli tagħmel kompromessi grossolani: pjattaforma ta’ moderazzjoni ta’ forum tista’ tirriżulta li trid tibblokka harassment/threatening filwaqt li ttollerah sempliċiment harassment, li jkopri ħafna tilwim ordinarju.

Meta jkollok bżonn tipproċessa volum—analiżi retrospettiva ta’ storja ta’ konversazzjoni, pereżempju—l-API taċċetta lista u tirritorna riżultat għal kull element, u tevita ħafna vjaġġi round-trip fin-netwerk.

def moderate_batch(messages: list[str]) -> list[dict]:
    """Timmodera messaġġi multipli f'sejħa waħda."""
    response = client.moderations.create(input=messages)
    results = []
    for i, result in enumerate(response.results):
        results.append({
            "index": i,
            "text": messages[i][:50],
            "blocked": result.flagged,
            "max_score": max(
                score
                for score in result.category_scores.__dict__.values()
            ),
        })
    return results

Il-Moderazzjoni taż-Żewġ Truf tal-Pipeline

Żball komuni huwa li timmodera biss l-inputs. Dan jiddependi fuq intuizzjoni falza: jekk il-messaġġ li jidħol huwa aċċettabbli, ir-risposta tkun ukoll. Madankollu, mudell jista’ jipproduċi kontenut problematiku minn talba newtrali, speċjalment meta jiddependi fuq dokumenti rkuprati li l-kontenut tagħhom ħadd ma vverifika. Għalhekk, il-klassi hawn taħt tapplika l-istess trattament fiż-żewġ direzzjonijiet, u żżid threshold personalizzat li jissikka d-deċiżjoni default tal-API.

class ModerationPipeline:
    """Pipeline ta' moderazzjoni tal-input + output għal applikazzjoni LLM."""

    def __init__(self, custom_threshold: float = 0.7):
        self.client = OpenAI()
        self.threshold = custom_threshold

    def moderate_input(self, message: str) -> tuple[bool, dict]:
        """Timmodera l-messaġġ QABEL ma tibgħatu lill-mudell."""
        result = self.client.moderations.create(input=message).results[0]
        scores = result.category_scores.__dict__
        high_categories = {
            cat: score for cat, score in scores.items() if score > self.threshold
        }
        blocked = result.flagged or bool(high_categories)
        return blocked, {"flagged_api": result.flagged, "custom_categories": high_categories}

    def moderate_output(self, response: str) -> tuple[bool, dict]:
        """Timmodera r-risposta tal-mudell QABEL ma tibgħatha lill-utent."""
        return self.moderate_input(response)

    def process_message(self, user_message: str, system_prompt: str) -> str:
        """Pipeline sħiħa: moderazzjoni tal-input, LLM, moderazzjoni tal-output."""
        # Pass 1: modera l-input
        input_blocked, details = self.moderate_input(user_message)
        if input_blocked:
            return "Il-messaġġ tiegħek ma jistax jiġi pproċessat. Jekk jogħġbok ifformulah mill-ġdid."

        # Pass 2: sejjaħ il-mudell
        response = self.client.chat.completions.create(
            model="gpt-5.6-sol",
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": user_message},
            ],
        )
        model_response = response.choices[0].message.content

        # Pass 3: modera l-output
        output_blocked, _ = self.moderate_output(model_response)
        if output_blocked:
            return "Ir-risposta ġiet iffiltrata għal nuqqas ta' konformità."

        return model_response

# Użu
pipeline = ModerationPipeline(custom_threshold=0.5)
response = pipeline.process_message(
    "How do I protect my application against SQL injections?",
    "You are an expert in defensive cybersecurity."
)
print(response)

X’ma Tagħmilx Din l-API

Il-limitazzjoni l-aktar importanti tagħha hija wkoll dik li tinftiehem l-inqas: ma tiskoprix prompt injection. Messaġġ polite li huwa perfettament innoċwu mill-perspettiva tal-kontenut, iżda li jitlob lill-mudell jinjora l-istruzzjonijiet tiegħu, jgħaddi mingħajr ma jattiva ebda kategorija. Li tistenna li tipproteġi kontra l-manipulazzjoni huwa bħal li tinstalla detettur tad-duħħan u tama li jwaqqaf is-serq.

Il-falsi pożittivi huma t-tieni limitazzjoni, partikolarment sensittivi f’kuntesti tas-sigurtà jew mediċi, fejn id-deskrizzjoni ta’ theddida hija parti mix-xogħol. Tiżdied sejħa addizzjonali fin-netwerk ma’ kull talba, li jkollha impatt meta timmira għal risposti f’ħin reali. Id-detezzjoni tibqa’ aktar affidabbli bl-Ingliż milli f’lingwi oħra, punt dgħajjef li l-attakkanti jafu perfettament sew. Fl-aħħar nett, il-kategoriji u l-thresholds jevolvu mal-aġġornamenti: sett ta’ kalibrazzjoni ta’ sitt xhur ilu jistħoqqilu verifika mill-ġdid.

Dawn il-limiti jiddettaw kif tuża l-għodda. Modera fiż-żewġ direzzjonijiet, aġġusta t-thresholds kategorija b’kategorija minflok globalment, u għaqqadha sistematikament ma’ saffi oħra—detezzjoni ta’ injection, filtrazzjoni tal-loġika tan-negozju—li l-lezzjonijiet li ġejjin jiddettaljaw. Irreġistra r-riżultati, għax l-osservazzjoni tal-falsi pożittivi tiegħek stess hija kif titgħallem fejn iċċaqlaq is-sliders. U ippjana għall-każ fejn l-API ma tkunx disponibbli: iddeċiedi issa, waqt li l-affarijiet huma kalmi, jekk l-applikazzjoni tiegħek għandhiex tibblokka b’mod default jew iħalli t-traffiku jgħaddi, minflok ma tiskopri dak l-imġiba waqt inċident.

Punti Ewlenin

  • L-API ta’ Moderazzjoni hija b’xejn, mgħaġġla u sempliċi biex tiġi integrata
  • Tiskopri kontenut offensiv iżda mhux injections jew jailbreaks
  • Il-pipeline input-to-model-to-output irid jiġi mmoderat fiż-żewġ truf
  • It-thresholds default rari jaqblu—adattahom għall-kuntest tiegħek
  • Hija saff wieħed fost oħrajn, qatt mhix l-unika linja ta’ difiża