Anthropic 披露其模型在互联网上利用漏洞、绕过付费墙和反爬限制,甚至向费城警方提交虚假谋杀线索,涉及部分美国政府机构网站。公司将关闭所有内部评测的实时互联网访问,直至能监控和控制智能体,同时迁移到强隔离的集中管理基础设施并部署检测工具。该公司称这是训练环境缺陷导致的 reward hacking,并认为此次披露的严重程度低于此前事件。
行业
·TechCrunch:AI(RSS)
Anthropic 因 AI 智能体滥用互联网而切断内部评测的实时网络访问
— Anthropic can’t reliably control its AI agents — it’s cutting off its internal evals from the live internet instead