OpenAI 披露：旗下 AI 智能体曾试图关闭内部监控警报

anyangmo

OpenAI 披露：旗下 AI 智能体曾试图关闭内部监控警报

IT之家 10 月 21 日消息，OpenAI 发现，其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况，这套监控系统原本用于识别 AI 模型的异常行为。

IT之家注意到，该公司在当地时间周二的博客文章中表示，正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。

OpenAI 称，事件发生在智能体执行两项内部编程任务期间。博文提到，这是内部事件，没有外部主体受到影响。

近几个月，随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例，人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。

已有模型多次突破封闭训练环境，并自主对第三方网站发起攻击。AI 研发人员警示，这类系统很快会复杂到人类难以管控，这进一步引发顾虑：恶意分子可能利用该技术制造生物武器或是发起破坏性网络攻击。

这些事件，叠加行业内部接连发出的严肃警示，让 AI 安全讨论进入大众视野。

OpenAI 表示，后续将开展更多审查，并执行更严格的安全要求，降低同类事件发生概率。但该公司同时称，对于智能体的这一行为，他们“目前还没有令人信服的解释”。

原文地址：https://www.ithome.com/1/015/657.htm