跳到正文
OpenAI News·· 1 天前精选AI 评分54

OpenAI 免费开放 CSAM 图像分类器,并给 ChatGPT 加违规警告与 24 小时停用

Strengthening the fight against online child sexual abuse with new tools and support

AI 导读

OpenAI 发布可检测潜在 CSAM(含 AI 生成内容)的图像分类器,通过 OpenAI API 免费提供给通过审核的机构,并与 NCMEC 合作训练评估。早期测试中,新分类器比现有工具少标记 48% 的图片、找到的虐待图像数量大致相当,被标记图片含虐待内容的概率约为原来的两倍。ChatGPT 同时新增警告提示,违规对话会被删除并暂停访问 24 小时,屡次违规可能导致账号关闭或上报执法机构。

变化判断

OpenAI 向通过审核的机构免费开放 CSAM 图像分类器,早期测试称可少标记 48% 的图片,审核员先看哪些图由分数排序决定。

正文 · AI 翻译

以新工具和新支持加强打击网络儿童性虐待

新工具、实用指南和合作伙伴关系将帮助预防、检测和应对网络儿童性剥削与性虐待。

分享

今天,我们发布了一款用于检测儿童性虐待材料(CSAM)的新工具、能够打断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些工作建立在我们此前的儿童安全蓝图以及持续开展的检测、拦截和举报虐待行为的工作基础之上。对家长来说,目标很简单:让技术帮助保护儿童安全,同时由人来掌控。

众所周知⁠(opens in a new window)⁠(opens in a new window),打击网络儿童侵害者需要众多组织协同合作。像 OpenAI 这样的公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法机构携手,共同推进保护儿童上网安全的集体努力。

帮助更多组织检测虐待材料

我们在现有防护措施的基础上,发布了一款新的图像分类器,可以检测潜在的 CSAM,包括 AI 生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能从未见过的新型图像。它会返回评分,帮助审核人员判断哪些图像可能需要优先处理。这是首个广泛可用、并能明确提示 CSAM 是否可能由 AI 生成的 CSAM 分类器。

我们的团队在美国国家失踪与受虐儿童中心(NCMEC)⁠(在新窗口打开)的协助下,训练、评估并设计了这款分类器,以用于实际部署。该中心是一家运营 CyberTipline 的非营利组织,CyberTipline 是集中受理儿童网络性剥削举报的枢纽。

我们通过 OpenAI API 向经过审核的组织免费提供这款分类器的访问权限,让儿童安全组织和更广泛的行业(包括团队规模各异的组织)更容易获得 CSAM 检测能力。

儿童安全是全行业的问题,需要各组织之间紧密协作,并采取多种解决方案。我们已与科技联盟(Tech Coalition)⁠(opens in a new window)和ROOST⁠(opens in a new window)接洽,帮助我们共享这款新工具的访问权限;我们也大力支持由其他方开发的工具,例如Thorn 的 Safer⁠(opens in a new window) CSAM 检测系统。此外,我们最近开始参与科技联盟的Lantern 项目⁠(opens in a new window),将在其中共享和接收与网络儿童性剥削和性虐待相关的信号,以加强跨平台协作。

NCMEC

“技术在帮助识别儿童性虐待材料(CSAM)以及最终识别其中可能出现的儿童方面,发挥着至关重要的作用。这款新分类器让更多组织能够使用有助于检测此前未被识别的 CSAM 的工具,加强举报,并为那些致力于识别和保护受害者的人提供关键信息。我们感谢 OpenAI 投入资源开发技术,强化更广泛的儿童安全生态。”

—John Shehan,高级副总裁,美国失踪与受虐儿童中心⁠(在新窗口打开)

Thorn

“在数字时代保护儿童免受性虐待和性剥削,靠任何单一方案或组织都不够。需要多层防护,才能阻断网上的有害行为,同时让调查人员有工具识别身处危险的儿童。我们赞赏 OpenAI 在这些方面采取行动,并与儿童保护生态中的各组织合作。把技术、专业知识和协作汇聚起来,将是构建更安全数字世界的基础。”

—Melissa Stroebel,研究与战略影响副总裁,Thorn⁠(在新窗口打开)

Tech Coalition

“要保护儿童免受网络性剥削和性虐待,企业必须携手合作。通过 Tech Coalition,业界各团队互相学习,共同应对儿童安全难题。OpenAI 团队是这项工作的积极贡献者,分享工具,并帮助制定其他公司可用的指引。我们很高兴 OpenAI 是 Tech Coalition 及我们董事会中如此投入的一员。”

—Erin Saltman 博士,总裁兼首席执行官,Tech Coalition⁠(在新窗口打开)

我们在内部和早期合作伙伴中测试了该分类器,衡量它能检出多少虐待材料、误标其他图片的频率,以及它如何支持安全团队。他们的反馈帮助我们发现了弱点并改进了系统。

结果

早期测试表明,该分类器能帮助审核人员聚焦于虐待图片,同时减少对误报的复核。在对用户上传图片的评估中,我们将新分类器与现有防护措施做了对比,发现:

  • 新分类器可以减少复核工作量:我们估计,它标记的图片数量将减少 48%,而发现的虐待图片数量与现有工具大致相同。

  • 被新分类器标记的图片含有虐待内容的可能性约为两倍。

早期访问合作伙伴也评估了该分类器如何支持他们自己的安全团队。在 fal⁠(在新窗口打开) 对经人工审核的生产图片所做的测试中,审核人员确认,分类器高置信度标记中有 72% 属于新型儿童性虐待材料(CSAM)。invideo AI⁠(在新窗口打开) 的测试显示,每四个被标记的案例中就有一个导致封禁。在 SafetyKit⁠(在新窗口打开) 针对将儿童性化的绘画或动画所做的评估中,分类器检出了 90% 的案例。

SafetyKit

“儿童安全工具需要能识别不同类型内容中的虐待行为。在我们的测试中,OpenAI 的分类器是我们见过最好的,能捕捉哈希匹配漏掉的未知 CSAM,在绘画和动画上表现也很强,而对合法成人内容的误报低于 1%。这些令人鼓舞的结果表明,可以在限制对合法用户干扰的同时,提供更广泛的防护来抵御有害内容。”

—Samuel Wang,技术员工,SafetyKit⁠(在新窗口打开)

invideo AI

“OpenAI 的分类器模型帮我们锁定真正重要的案例。我们的信任与安全团队不用再在一堆误报里翻找,而是拿到数量更少、更精准的案例去审核,其中需要采取行动的比例也高得多。我们希望 invideo 成为安全的内容创作场所,这个工具帮我们朝这个目标迈进。”

—Kirkston Dsouza,产品经理,invideo AI⁠(在新窗口打开)

fal

“对我们的安全团队来说,一条标记必须能提供有用的信号,告诉我们该把注意力放在哪里。OpenAI 分类器给出的高置信度标记让我们相信,随着平台发展,它有望帮助团队识别出此前未曾发现的虐待性内容。”

—Antonina Vykhrest,儿童安全总监,fal⁠(在新窗口打开)

HeyGen

“OpenAI 的审核分类器已成为 HeyGen 儿童安全项目的基石。它能为团队提供快速、可靠的有害内容信号,让我们可以迅速而有把握地采取行动。”

—Mutasim Chowdhury,工程师,HeyGen⁠(在新窗口打开)

Adobe

“Adobe 坚定致力于保护儿童上网安全。与 OpenAI 等公司持续创新与合作,能够强化现有防护措施,并让平台有更多工具来检测有害内容。”

—Michael Draper,全球消费者信任副总裁,Adobe⁠(在新窗口打开)

有关该分类器的更多信息,请参阅 CSAM 分类器模型卡⁠(在新窗口打开)。有意使用该分类器的机构可通过我们的申请表单⁠请求访问权限。我们将根据使用者的反馈持续改进该分类器。

打断有害行为,引导人们寻求帮助

我们已禁止 CSAM,训练模型拒绝相关请求,并对违反政策的账号采取行动。在此基础上,我们又在 ChatGPT 中新增产品警告:当用户试图寻找虐待性材料时予以打断,说明后果,并引导其寻求帮助以停止有害行为。

警告明确指出,将儿童性化会造成伤害,即使所请求的材料是 AI 生成的也不例外。除警告外,我们还会删除被标记的对话,并暂停该用户访问 ChatGPT 24 小时,同时保持专业支持渠道可用,帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终关闭账号或向有关部门举报。

Image 1: ChatGPT warnings explain that sexualizing children is harmful and can be illegal, suspend the account for 24 hours, and offer specialist support.

我们在制定这一方案时,听取了多家机构和学术顾问的意见,他们从事预防儿童性虐待的研究与项目开发,包括 Protect Children⁠(在新窗口打开)、Lucy Faithfull Foundation⁠(在新窗口打开)、肯特大学法医心理学研究员兼荣誉讲师 Caoilte Ó Ciardha 博士,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑信息试验⁠(在新窗口打开)。

CSAM 威慑中心

“OpenAI 在 ChatGPT 中提供了一个最佳实践范例,展示平台如何遏制并打击有害的在线行为。OpenAI 邀请了多位曾设计并评估过警告信息的外部专家,与他们一起通过基于证据的协同设计打造了这项干预措施,并力求在尽可能多的司法管辖区把用户引导至当地的支持资源。这让警告信息最有可能引导用户远离伤害、转向支持。”

—Joel Scanlan,副教授,CSAM Deterrence Centre⁠(在新窗口打开)

Lucy Faithfull Foundation

“从我们的威慑工作中我们了解到,一条警告能否奏效,取决于时机、准确性和语气。OpenAI 在这三点上都下足了功夫。这条警告会在人们面临风险的时刻打断他们,直白地说明后果,并指引他们寻求帮助。重要的是,当风险行为持续时,回应会变得更强。我们的 Stop It Now 求助热线已经经常接到有人说是一台 AI 聊天机器人把他们引导过来的。如今这条求助途径正在走向全球,把人们连接到本国的支持资源。每一个选择主动求助、而不是顺从冲动行事的人,都是一个被保护的孩子。”

—Frances Frost,倡导与传播总监,Lucy Faithfull Foundation⁠(在新窗口打开)

为开发者提供实用支持

保护儿童上网安全并不止于检测。我们发布了 CSAM 指南⁠(在新窗口打开),为开发者提供切实可行的步骤,帮助他们预防虐待、检测有害内容并采取行动。该指南在 Tech Coalition⁠(在新窗口打开)、Thorn⁠(在新窗口打开)、NCMEC⁠(在新窗口打开) 和 Internet Watch Foundation⁠(在新窗口打开) 的意见基础上制定,面向处于安全系统建设不同阶段的组织。

该指南提供了明确的规则、供用户报告问题的方式、检测工具,以及审查和报告疑似虐待行为的流程。它还说明了安全标识符如何帮助开发者将滥用行为与具体用户关联起来,以及如何为审查敏感内容的人员提供支持。开发者可以将其与我们新的图像分类器、Moderation API⁠(在新窗口打开)、ROOST 的自托管审查控制台 Coop⁠(在新窗口打开),以及 Thorn 的 Safer⁠(在新窗口打开) 等专门的 CSAM 检测服务配合使用。

我们对协作以及支持更广泛开发者生态的承诺,也体现在我们与 Anthropic 和 Google 的合作中:我们共同委托制定了关于如何应对 AI 系统中儿童性剥削和虐待披露的新指南。该指南最近由 Tech Coalition⁠(在新窗口打开) 发布,为开发者处理这些敏感情况提供了实用建议。

我们已经看到,这份指南促使更多开发者使用儿童安全工具,并注册向 NCMEC 报告 CSAM。

支持儿童安全执法部门

保护儿童也意味着支持那些专门从事儿童安全调查的人员,帮助他们找到受害者、制止虐待行为。正如我们与 Thorn 公开讨论过的那样(在新窗口打开),AI 可以帮助调查人员整理和排序信息,并减少不必要地接触虐待材料。

我们还在为儿童安全执法部门提供新工具和培训,教他们如何在调查中使用 AI,包括专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。上线时,首个工具将帮助调查人员审查冗长的聊天记录和法律程序回执,识别潜在关联并梳理时间线,且调查结果会与原始材料关联。

首期培训计划以概览和演示为主,并配有实用的现场指南供团队日后参考。培训将介绍这些工具以及它们如何融入调查工作。访问权限取决于机构授权和项目要求。后续培训将在地区、国家和国际会议上推出。

北卡罗来纳州总检察长

“作为 AI 工作组中的州总检察长,我们的首要任务是保护孩子。这也必须成为科技公司的首要任务。我们必须加强防御,OpenAI 和其他科技公司必须日夜思考并采取措施,防止合成儿童性虐待材料。我们要保护孩子们的安全。”

——杰夫·杰克逊,北卡罗来纳州总检察长

继续携手推进

这些努力有着共同的目标:防止儿童受到伤害,并在虐待发生时加强应对。我们将继续完善防护措施,同时为儿童保护组织、开发者、研究人员和调查人员提供所需的工具、资源和专业知识,帮助他们保护儿童、打击剥削并将施害者绳之以法。通过携手合作,我们可以借助 AI 的力量,在打击儿童性剥削和性虐待的斗争中带来切实改变。

作者

OpenAI

来源:OpenAI News · openai.com