OpenAI 设立安全团队 Preparedness：评估 AI 风险、防止外界滥用

OpenAI 表示，未来的 AI 模型虽然拥有造福全人类的潜力，但也可能带来严重的风险，因此需要建立一个强大的框架来监控、评估、预测及防范这些 AI 模型。

据悉，OpenAI 设立了 Preparedness 团队，将针对各种 AI 模型进行能力评估及红队测试，以追踪、预测及防范各类别的灾难性风险。

IT之家发现，OpenAI 宣称的相关风险，主要包含以下三大类：

• 说服人类能力：AI 输出的内容是否会影响人类的行为

• 生成不当内容：AI 是否会生成有关化学 / 生物 / 放射性 / 核（CBRN）等危险内容

• 自主复制与适应能力（Autonomous Replication and Adaptation，ARA）：AI 是否会在自我迭代中脱离人类的控制

OpenAI 已开始招募不同背景的人才加入 Preparedness 团队，同时推出 AI Preparedness 挑战赛，鼓励参赛者以黑客名义，“破解”Whisper、Voice、GPT-4V、DALLE3 等模型，前 10 名将可获得 OpenAI 所提供的、价值 2.5 万美元（IT之家备注：当前约 18.3 万元人民币）的 API 使用额度。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

未经允许不得转载：新聚网 » OpenAI 设立安全团队 Preparedness：评估 AI 风险、防止外界滥用