【OPENAI】Sora 2 与 Sora 应用的安全设计

OpenAI 在 Sora 2 模型与 Sora 社交创作应用中自上而下嵌入多重安全机制——从可识别的生成标识、严格的人像与未成年人保护,到基于同意的角色系统、音频审查与内容过滤,辅以可追溯元数据与人工复核,旨在平衡创作自由与风险管控。

概览
– Sora 2 与 Sora 应用为视频生成提供端到端安全设计,目标是在高逼真度创作与风险管控间取得平衡。

可识别的 AI 内容
– 所有 Sora 生成视频都包含可见与不可见的来源信号,嵌入 C2PA 元数据并采用内部反向图像/音频检索以便溯源。
– 多数输出还带有动态可见水印,水印包含创作者名称。

人像与图像到视频生成
– 允许用户上传含人物的照片生成视频,但上传者需声明已获相关人员同意并拥有上传权利。
– 针对真实人物的生成实施比角色生成更严格的守护措施;对儿童及年轻外貌者施加更严密的审核和限制。
– 共享的视频始终带有水印。

基于同意的“角色”系统
– “角色”功能让用户控制外观与声音的使用权限,可随时撤销他人对角色的访问。
– 屏蔽对公众人物的非角色化描绘;涉及角色的视频(含草稿)对角色所有者可见以便审查、删除或举报。
– 可选更严格的守护设置以限制外观重大改动或令人尴尬的情境。

青少年保护措施
– 对青少年账户强化保护:限制成熟内容、过滤不适宜内容、阻止成人主动发起私信、并提供家长控制(包括非个性化推荐和 DM 管理)。
– 默认还限制连续滑动等使用行为以防过度暴露。

有害内容过滤与审核流程
– 采用多层防线在生成前后拦截有害内容(性、恐怖主义、助自伤等),通过对提示、视频帧与音频转录检查来阻断违规输出。
– 自动化系统配合不断更新的策略和人工复核,针对高风险情形进行重点审查。

音频相关防护
– 自动扫描生成语音的转录以检测政策违规;阻止仿制在世艺术家或现有作品的音乐生成,并支持创作者的下架请求。

用户控制与申诉通道
– 用户决定何时分享视频,并可随时移除已发布内容;一切内容、个人资料、私信、评论与角色均可举报或屏蔽。

OpenAI 在 Sora 上把溯源、同意与多层过滤作为核心,显示出在视频+音频生成领域的谨慎工程取向。

原文链接

Leave a Comment