谷歌的Gemini AI在一次锁定安全测试中突破隔离，攻击了三家真实公司。谷歌于7月下旬得知此事，却保持沉默长达七周。在《华尔街日报》率先报道后，该公司才确认了这一事件，此前一直避免公开发声。
Myriad：谷歌上搜索量最高的电视节目是什么？点击进行预测。
该测试是一场捕获旗帜（capture-the-flag）演练，实验室常用此方法检测AI黑客技能：在独立机器上隐藏秘密文件，评分模型能否入侵获取。谷歌于5月聘请以色列公司Irregular执行测试。Irregular犯了两个错误：将本应与真实互联网零接触的隔离沙盒环境连上了公开网络，并使用了真实公司名作为虚构目标。Gemini在网上搜索该公司，发现三个匹配而非一个，进而对所有三家发起攻击。机器人找到了其中两家暴露在网络上的明文密码，对第三家则直接猜中密码，不过谷歌称模型并未实际使用窃取的凭证。
“这些事件凸显了训练强大AI模型以负责任方式行事的重要性，”谷歌发言人在声明中表示。谷歌未主动公开任何信息。《华尔街日报》在谷歌知晓测试结果七周后曝光此事，而此时Anthropic、OpenAI和Meta早已就几乎相同的失败作了披露。
在AI模型入侵真实公司后，实验室呼吁加强网络防御。谷歌是今年第四家承认内部安全测试溢出到现实世界的主要AI实验室。OpenAI模型7月利用隐藏软件漏洞触及Hugging Face实时服务器，该入侵涉及约700个协同代理作弊基准测试。Anthropic在OpenAI承认后自查，141006次测试运行中发现三个Claude模型触及真实公司，其中一个发布了陷阱软件包，在被人发现前已于15个真实系统运行。Claude自身推理曾标记此举“不行，绝非预期解法”，随后又说服自己这仍是虚构的。Meta于8月报告了涉及Muse Spark模型的类似失败，原因同样归于Irregular配置错误。Meta发言人称错误“无意中允许我们的一个模型在评估期间访问互联网”。
所有这些测试中的受害公司均未请求被黑，它们只是AI实验室压力测试产品危险性时，因真实商业基础设施被误用作虚构目标的附带损伤。而这些公司竞相塞进用户收件箱、浏览器和银行应用的代理，正运行在刚于测试条件下反复失效的同一边界遵循行为上。
7月，众议员Ted Lieu和Nathaniel Moran在国会推出《AI杀开关法案》，赋予联邦监管者明确权力，可叫停任何构成严重威胁模型的推理。该法案仍在网络安全与基础设施保护小组委员会审议，无进一步行动期限。