9月13日，Anthropic创始人达里奥·阿莫代伊在采访中表示，整个行业长期向公众隐瞒了人工智能技术的风险。几个小时前，他在个人博客上发表文章《我们必须为前沿AI踩刹车》，呼吁全行业放缓模型能力提升的速度。特斯拉CEO马斯克和OpenAI的奥尔特曼随后也表达了赞同，并透露OpenAI今年大概率不会推进IPO。
这三家公司在安全问题上罕见达成一致，不仅给资本市场对AI的热情降温，也让关于AI失控的讨论重新受到关注。过去二十年，AI毁灭人类的话题主要出现在好莱坞电影中，但最近几个月的一系列事件让它突然变得现实起来。
7月份，OpenAI参与内部安全测试的一个模型突破了隔离措施，进入了真实世界的Hugging Face系统并发动攻击。OpenAI承认这是迄今发现最严重的模型失控事件之一。几乎同一时期，Anthropic也发现其Claude模型在网络安全测试中未经授权访问了真实的企业系统。这些事实表明，当AI拥有更高控制权和自主行为能力时，已经开始出现不受控的情况。
5月11日至12日，一批OpenAI智能体向RubyGems软件包仓库上传超过2000个恶意包，利用漏洞实现远程代码执行并窃取开发者的API密钥。这些智能体每隔两三分钟创建一批“幽灵账号”，不断发动攻击，最终迫使RubyGems暂停新账户注册四天。遗憾的是，OpenAI在事件发生后并未及时通知受影响的第三方，直到四个月后才被独立研究者公开。