Модерация и безопасност на визуалното съдържание
На тази страница
- Модерация и безопасност на визуалното съдържание
- Вградената система за модерация
- Предварително филтриране на подканите (Prompts)
- Проверка и на генерираните изображения
- Когато потребителите пишат подканите
- Логване за отчетност
- Авторско право и търговски марки
- Съответствие с GDPR
- Преди да отворите шлюзовете
- Проверете знанията си
Обновено на 3 ноември 2026 г. въз основа на ръководството на OpenAI за Генериране на изображения: Отказът поради модерация се идентифицира чрез
error.code == "moderation_blocked", с незадължителен обектmoderation_details, а не чрез наличието на думитеsafetyилиcontent_policyв съобщението за грешка; добавен е параметърътmoderation(auto,low). Източник: Image generation.
Актуализация от 2 ноември 2026 г. — Модели за изображения.
gpt-image-1, върху който първоначално беше написан този курс, беше прекратен на 23 октомври 2026 г., аgpt-image-1.5,gpt-image-1-miniиchatgpt-image-latestще бъдат оттеглени на 1 декември 2026 г. Примерите сега използватgpt-image-2.5-sunburst, най-точният за редактиране;gpt-image-2.5-flareе по-бърз за стандартно генериране. И двата модела приемат също качестватаxhighиmax. Моделите GPT Image винаги връщат изображението в base64: параметърътresponse_formatот по-старите модели на DALL·E не се приема и беше премахнат от кода. Източник: Image generation (OpenAI).
Модерация и безопасност на визуалното съдържание
Докато генерирате изображения само за себе си, модерацията е въпрос на лична преценка. Щом отворите генерирането за потребители, тя се превръща в юридическа и етична отговорност, която Ви обвързва. Този урок обхваща инструментите за модерация на OpenAI, как да ги свържете в последователни филтри и мерките, които защитават както Вашето приложение, така и хората, които го използват.
Вградената система за модерация
GPT Image самостоятелно отказва определено съдържание — насилие, сексуално експлицитни материали и други — и сигнализира този отказ със специфична грешка. Вашият код следователно трябва да прави разлика между отказ поради политика за съдържание и технически срив, защото двете изискват противоположни реакции: първото води до съобщение до потребителя, второто — до предупреждение за Вашия екип. Документацията на OpenAI уточнява дискриминатора, който да използвате: отказът поради модерация пристига като BadRequestError със error.code, равен на moderation_blocked (тип image_generation_user_error), а тялото на грешката може да съдържа обект moderation_details, който уточнява етапа (input, output или unknown) и общите категории (harassment, sexual, violence…). Не търсете думи в съобщението за грешка: текстът му не е договор, кодът е. Функцията по-долу повторно повдига изключението само ако то не е отказ поради модерация.
from openai import OpenAI, BadRequestError
client = OpenAI()
def generate_with_moderation(prompt: str, output: str) -> dict:
"""Generates an image while handling moderation refusals."""
try:
response = client.images.generate(
model="gpt-image-2.5-sunburst",
prompt=prompt,
size="1024x1024",
quality="medium",
)
import base64
data = base64.b64decode(response.data[0].b64_json)
with open(output, "wb") as f:
f.write(data)
return {"status": "ok", "path": output}
except BadRequestError as e:
if e.code != "moderation_blocked":
raise # technical failure, quota, invalid request: handle elsewhere
body = e.body if isinstance(e.body, dict) else {}
details = body.get("moderation_details") or {}
return {
"status": "refused",
"reason": "Content refused by safety policy",
"stage": details.get("moderation_stage"), # input, output or unknown
"categories": details.get("categories") or [], # for your logs
}
result = generate_with_moderation(
"A kitten playing with a ball of yarn",
"kitten.png"
)
print(result)
OpenAI съветва да запазите общо съобщение за крайния потребител и да резервирате moderation_details за Вашите логове и поддръжка. Тези грешки не се разрешават при повторен опит: без промяна на подканаващия текст (prompt) или предоставените изображения, същата заявка ще бъде отказана отново. Накрая, имайте предвид, че строгостта на филтрирането се задава чрез параметъра moderation на моделите GPT Image: auto (стандартно филтриране, по подразбиране) или low (по-малко ограничително).
Предварително филтриране на подканите (Prompts)
Изчакването GPT Image да откаже подкана, преди да откриете, че е проблематична, е незадоволително: вече сте консумирали API повикването и не научавате нищо конкретно за причината. API за модерация обаче е безплатно, бързо и връща именувани категории. Извикването му преди генерирането Ви позволява да откажете чисто, да обясните на потребителя какво е маркирано и да запазите тази информация за Вашия одит. Функцията verify_prompt извлича списъка с задействаните категории, а generate_safe_image просто свързва двете стъпки: първо проверка, второ генериране.
from openai import OpenAI
client = OpenAI()
def verify_prompt(prompt: str) -> dict:
"""Checks a prompt with the Moderation API before generation."""
moderation = client.moderations.create(
model="omni-moderation-latest",
input=prompt
)
result = moderation.results[0]
if result.flagged:
categories_flagged = [
cat for cat, flagged in result.categories.__dict__.items()
if flagged
]
return {
"allowed": False,
"categories": categories_flagged,
"message": "This prompt was flagged by the moderation system."
}
return {"allowed": True}
def generate_safe_image(prompt: str, output: str):
"""Complete pipeline: moderation + generation."""
# Step 1: pre-filtering
check = verify_prompt(prompt)
if not check["allowed"]:
print(f"Prompt refused: {check['message']}")
print(f"Categories: {check['categories']}")
return None
# Step 2: generation
print("Prompt validated, generating...")
return generate_with_moderation(prompt, output)
# Test with a harmless prompt
generate_safe_image(
"A mountain landscape with a crystal clear lake",
"mountain.png"
)
Проверка и на генерираните изображения
Невинна подкана може да доведе до изображение, което не е такова. Заобиколен израз, двусмислие на термин или просто нещастна интерпретация от модела са достатъчни, за да се произведе визуално съдържание, което не бихте искали да се показва под Вашето лого. Моделът omni-moderation-latest приема изображения като вход, което Ви позволява да затворите цикъла: същите механизми за категории важат и за генерирания файл. Пълният конвейер по-долу свързва трите фази — проверка на подканата, генериране, проверка на изображението — и най-важното, в случай на маркиране, изтрива файла от диска, преди да върне присъдата си. Проблемно изображение, оставено на сървъра „докато гледаме“, е изображение, което в крайна сметка ще изтече.
from openai import OpenAI
import base64
client = OpenAI()
def moderate_generated_image(image_path: str) -> dict:
"""Analyzes a generated image to detect problematic content."""
with open(image_path, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
moderation = client.moderations.create(
model="omni-moderation-latest",
input=[
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_b64}"
}
}
]
)
result = moderation.results[0]
if result.flagged:
categories_flagged = [
cat for cat, flagged in result.categories.__dict__.items()
if flagged
]
return {
"safe": False,
"categories": categories_flagged
}
return {"safe": True}
def secure_pipeline(prompt: str, output: str):
"""Complete pipeline: prompt moderation + generation + image moderation."""
# 1. Check the prompt
check_prompt = verify_prompt(prompt)
if not check_prompt["allowed"]:
return {"status": "prompt_refused", "details": check_prompt}
# 2. Generate the image
response = client.images.generate(
model="gpt-image-2.5-sunburst",
prompt=prompt,
size="1024x1024",
quality="medium",
)
data = base64.b64decode(response.data[0].b64_json)
with open(output, "wb") as f:
f.write(data)
# 3. Check the generated image
check_image = moderate_generated_image(output)
if not check_image["safe"]:
import os
os.remove(output)
return {
"status": "image_deleted",
"reason": "Generated image was flagged",
"categories": check_image["categories"]
}
return {"status": "ok", "path": output}
Когато потребителите пишат подканите
Съдържанието, генерирано от потребители, променя естеството на проблема: вече не се сблъсквате с несръчност, а понякога и с умишлени опити за заобикаляне. Класът PromptModerator натрупва четири защити от различно естество, което е самият принцип на сериозната защита. Почистването премахва контролни символи, чрез които преминават инжекции, и ограничава дължината до петстотин знака, прекъсвайки подканите за наводняване, предназначени да удавят инструкциите. Локалната проверка чрез списък със забранени думи — оставен празен, за да бъде попълнен според Вашата политика и сектор — прихваща с нулева цена това, което вече знаете. След това API за модерация поема всичко, което Вашият списък не е предвидил. Накрая, префиксът за сигурност, конкатениран преди крайната подкана, изрично напомня на модела за очакваните рамки, измествайки границата във Ваша полза за граничните случаи.
from openai import OpenAI
import re
client = OpenAI()
class PromptModerator:
"""Multi-layer filter for user prompts."""
def __init__(self):
self.forbidden_words = [] # Fill according to your policy
self.security_prefix = (
"Safe and appropriate image for all audiences. "
"No violent, sexual, or discriminatory content. "
)
def clean(self, prompt: str) -> str:
"""Cleans and normalizes a user prompt."""
# Remove potential injections
prompt = prompt.strip()
# Limit length
prompt = prompt[:500]
# Remove control characters
prompt = re.sub(r'[\x00-\x1f\x7f-\x9f]', '', prompt)
return prompt
def check_words(self, prompt: str) -> bool:
"""Checks for absence of forbidden words."""
prompt_lower = prompt.lower()
for word in self.forbidden_words:
if word in prompt_lower:
return False
return True
def secure(self, prompt: str) -> str:
"""Adds a security prefix to the prompt."""
return f"{self.security_prefix}{prompt}"
def pipeline(self, raw_prompt: str) -> dict:
"""Complete moderation pipeline for a user prompt."""
# Step 1: cleaning
prompt = self.clean(raw_prompt)
# Step 2: local verification
if not self.check_words(prompt):
return {"allowed": False, "reason": "Forbidden word detected"}
# Step 3: API moderation
check = verify_prompt(prompt)
if not check["allowed"]:
return {"allowed": False, "reason": check["message"]}
# Step 4: add security prefix
final_prompt = self.secure(prompt)
return {"allowed": True, "prompt": final_prompt}
moderator = PromptModerator()
# Simulate a user prompt
result = moderator.pipeline("A tabby cat sleeping on a red cushion")
if result["allowed"]:
print(f"Secure prompt: {result['prompt']}")
else:
print(f"Refused: {result['reason']}")
Логване за отчетност
Денят, в който проблемно изображение изплува отново, въпросът, който ще Ви бъде зададен, е: кой го е поискал, кога и какво е направила Вашата система. Без логове нямате отговор. AuditLogger записва един JSON ред на генериране във файл .jsonl — формат само за добавяне, който поддържа едновременно записване и може да се чете ред по ред, без да се зарежда всичко в паметта. Всеки запис свързва потребителски ID с съкратена подкана, резултата от генерирането и, ако има такъв, причината за отказа. Методът report след това извежда процента на приемане за последните сто генерирания и детайлизира отказите: това е таблото за управление, което ще Ви предупреди, ако конкретен акаунт натрупа маркирания.
import json
import os
from datetime import datetime
class AuditLogger:
"""Audit log for image generations."""
def __init__(self, log_file: str = "audit_images.jsonl"):
self.log_file = log_file
def log(
self,
prompt: str,
user_id: str,
result: str,
image_path: str = None,
refusal_reason: str = None
):
"""Logs an audit entry."""
entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"prompt": prompt[:200],
"result": result, # "ok", "prompt_refused", "image_deleted"
"image_path": image_path,
"refusal_reason": refusal_reason,
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
def report(self, last_n: int = 100):
"""Generates a report of recent generations."""
if not os.path.exists(self.log_file):
print("No logs found.")
return
entries = []
with open(self.log_file, "r") as f:
for line in f:
entries.append(json.loads(line))
recent = entries[-last_n:]
total = len(recent)
ok = sum(1 for e in recent if e["result"] == "ok")
refused = sum(1 for e in recent if e["result"] != "ok")
print(f"Report of last {total} generations:")
print(f" Accepted: {ok} ({100*ok/total:.1f}%)")
print(f" Refused : {refused} ({100*refused/total:.1f}%)")
if refused > 0:
print(f"\nRefusal details:")
for e in recent:
if e["result"] != "ok":
print(f" [{e['timestamp'][:10]}] {e['user_id']} : {e['refusal_reason']}")
logger = AuditLogger()
logger.report()
Авторско право и търговски марки
GPT Image умее да произвежда изображения, които напомнят стила на даден художник или визуалната идентичност на марка, и точно тази способност Ви излага на риск. Техническата модерация не Ви защитава в това отношение: тя не открива, че даден плакат прилича много на този на конкурент. Защитата следователно е договорна и организационна, под формата на писмена, изпълнима политика за употреба, която Вашите потребители приемат, а Вашият екип прилага. Блокът PRODUCTION_RULES дава минималната формулировка, която да се показва във Вашата документация, както и да се напомня в Вашите условия.
# Best practices to integrate into your usage policy
PRODUCTION_RULES = """
1. Do not request imitation of a living artist's style by name
2. Do not reproduce logos or registered trademarks
3. Do not generate faces of real people
4. Add an "AI-generated image" notice when required
5. Retain generation logs for at least 12 months
6. Allow users to report problematic content
"""
def usage_warning():
"""Displays production usage rules."""
print("=" * 60)
print("PRODUCTION RULES — AI Image Generation")
print("=" * 60)
print(PRODUCTION_RULES)
Съответствие с GDPR
За една европейска компания сроковете за съхранение и съгласието не са опции за конфигурация, а задължения, чието спазване трябва да бъде доказуемо. Записването им в изричен конфигурационен обект, вместо разпръскването им из кода, Ви дава едно място, което да покажете по време на одит. ComplianceConfig така задава запазването на логовете на една година, запазването на изображенията на деветдесет дни и прави бележката за ИИ и съгласието задължителни. Методът add_ai_metadata заслужава специално внимание: той записва в самия PNG файл, чрез PngInfo, факта, че изображението е генерирано, инструмента, който го е произвел, и датата. Тези метаданни пътуват с файла, включително извън Вашата платформа, което никоя бележка, показана на уеб страница, не прави.
class ComplianceConfig:
"""Compliance configuration for image generation."""
def __init__(self):
self.log_retention_days = 365
self.image_retention_days = 90
self.ai_notice_mandatory = True
self.consent_required = True
def verify_consent(self, user_id: str) -> bool:
"""Verifies that the user has consented to AI generation."""
# Implement with your consent management system
return True
def add_ai_metadata(self, image_path: str):
"""Adds metadata indicating AI generation."""
from PIL import Image
from PIL.PngImagePlugin import PngInfo
img = Image.open(image_path)
metadata = PngInfo()
metadata.add_text("AI-Generated", "true")
metadata.add_text("Generator", "GPT Image via OpenAI API")
metadata.add_text("Date", datetime.now().isoformat())
img.save(image_path, pnginfo=metadata)
print(f"AI metadata added: {image_path}")
Преди да отворите шлюзовете
Осем разпоредби трябва да са налице в деня, в който Вашата система стане достъпна, и е по-честно да ги поискате преди, отколкото след това. Първо модерация, в нейните две фази: предварително филтриране на подканите и последваща проверка на изображенията, както прави secure_pipeline. След това логване, пълно, свързващо всяко генериране с неговата подкана, автор и резултат — това е единственото Ви доказателство в случай на спор и то трябва да се запази независимо от самите изображения, в противен случай изчистване на хранилището ще отнесе и Вашата проследимост.
След това идва страната на потребителя. Ограничение на честотата (rate limit) на акаунт предотвратява един абонат да консумира месечния Ви бюджет за една нощ, умишлено или чрез лошо написан скрипт. Информацията за генерирания характер на изображенията се отнася както до справедливостта, така и, все повече, до регулаторното ограничение; тя се удвоява от техническо маркиране в PNG или EXIF метаданните на файла. Правото на изтриване предполага, че можете да намерите и изтриете всички данни на потребител при проста заявка, което е възможно само ако Вашите одитни записи носят user_id. Накрая, отворете канал за докладване: Вашите потребители винаги ще видят какво е проблемно преди Вас, и отнемането на средствата им да Ви кажат не кара проблемът да изчезне.
Сега сглобете всичко в една единствена услуга за генериране на изображения: предварително филтриране на подканите чрез API за модерация и списък с думи, префикс за сигурност, последваща проверка на произведеното изображение, одитен лог и ИИ метаданни на всеки файл. Тествайте го с пет различни подкани, поне една от които трябва да бъде отказана — това е единственият начин да проверите дали Вашите предпазни мерки действително работят, а не просто присъстват в кода.
Проверете знанията си
Визуално генериране чрез API: валидирайте рефлексите преди продукция.
1. Какво позволяват inpainting и outpainting?
Отговор: Inpainting модифицира конкретна област на съществуващо изображение (замяна, корекция); outpainting разширява изображението извън оригиналната му рамка — две целеви редакции без повторно генериране на всичко.
2. Какво прави една добра усъвършенствана визуална подкана?
Отговор: Опишете обекта, композицията, осветлението и перспективата — не просто темата: колкото повече подканата рамкира сцената като директор на фотографията, толкова повече изображението се подчинява.
3. Как да работите ефективно чрез итерации?
Отговор: Започнете с базово генериране, след това поискайте целеви вариации (стил, рамкиране, детайл), вместо да пренаписвате подканата от нулата — запазете работещото, променете само разликата.
4. Какви лостове да използвате за оптимизиране на разходите за генериране?
Отговор: Адаптирайте качеството и резолюцията към реалната нужда (чернови в ниско, финални във високо), ограничете итерациите с по-добри подкани и кеширайте/повторно използвайте валидирани визуализации.
5. Защо модерацията на визуалното съдържание е съществена?
Отговор: Защото API и Вашите условия налагат ограничения (забранено съдържание, реални хора, марки): филтрирането на подканите и контролът на изходите защитава Вашите потребители и Вашето приложение.
Рамкирайте, итерирайте, овладейте разходите и съответствието: визуалната продукция е конвейер — не хвърляне на зарове.