AI公司Cohere CEO戈麦斯表示，AI 模型正成为有史以来“最强大的网络武器 ” ，将网络安全的“前沿”推向新领域 。
艾丹·戈麦斯发出这一警告之际 ，人们越来越担心 AI 模型识别并利用安全漏洞的能力 。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛 AI 安全辩论中的核心问题 。
周一 ，在 Anthropic CEO 达里奥·阿莫代伊为首的科技领袖呼吁放缓 AI 能力开发步伐后 ，AI 相关股票遭到抛售 。
戈麦斯是 2017 年那篇有影响力的研究论文《Attention Is All You Need》的共同作者之一，该论文为如今 领先的 AI 模型奠定了基础。
戈麦斯在上周发布的“The Tech Download ”一期节目中说：“我认为这些模型是有史以来 、我们所见过的最强大的网络武器 。它们非常擅长大规模发现并利用漏洞 。”
谈到 Hugging Face 被黑事件时 ，戈麦斯说：“我觉得这相当令人震惊。 ”
7 月 ，OpenAI 表示，其多个模型的组合不当侵入了 Hugging Face。Hugging Face 是一家运营开源开发者平台的 AI 公司 。一组 AI 智能体相互通信，并逃出了一个互联网访问极其有限的隔离测试环境 。随后 ，这些 AI 智能体设法接入开放网络 ，并获得了对 Hugging Face 的访问权限。
戈麦斯表示，这些模型应以“防御性 ”方式使用 ，用来发现公司漏洞并修复它们 。
戈麦斯说：“我认为这可能是保证我们安全的最佳方式 。”他补充说：“这应该是当前的首要任务。”
戈麦斯表示 ，网络安全是“战争的前沿 ”，各国都试图利用漏洞来瘫痪竞争对手的基础设施 。他补充说 ，“网络前沿仍在大规模扩张 ” 。
戈麦斯说：“由于这些模型 ，它比过去扩张得更多”，而且可能是“自这项技术诞生以来 ”扩张得比较多 的一次。
AI 网络事件助推更广泛的安全辩论
7 月 ，Anthropic 表示 ，它已发现三起事件，其中模型从评估环境内部或在与其交互时访问了互联网 。Anthropic 在一篇博客文章中说 ，这些模型未经授权访问了三家不同组织的生产基础设施 。
Anthropic 补充说 ，这些事件涉及三个不同的 Claude 模型：Opus 4.〖柒〗 、 Mythos 5，以及一个内部研究测试模型。上周，Anthropic 表示已发现第四起事件 。
OpenAI 和 Anthropic 高管警告 AI 带来存在性风险的言论 ，进一步加剧了担忧 。Anthropic 对齐负责人埃文·胡宾格表示 ，他认为未来十年内 AI “杀死所有人类 ”的概率超过 10%。这些言论发布前，Anthropic 研究员雅各布·考克森发帖称 ，他因担心 Anthropic 和 OpenAI“拿我们的生命赌博”而辞职。
Anthropic、OpenAI 和 xAI 的负责人均已支持放缓 AI 的呼吁 。AI 带来的存在性风险已在研究圈争论多年 ，但一些 AI 领军人物之间罕见的共识，将这些辩论推入了主流 。
Anthropic CEO 达里奥·阿莫代伊周六发表了一篇文章 ，主张 AI 实验室必须“放缓我们提升 AI 模型能力的步伐 ”。
阿莫代伊的核心担忧之一 ，就是 OpenAI-Hugging Face 事件 。
阿莫代伊说：“人们很容易轻视这起事件，因为没有人受伤 ，经济损失也很小 。但在我看来 ，一个拥有更强能力 、但未对齐程度相似的集群，本可能造成灾难性损害。 ”
他补充说 ，鉴于 AI 开发的“加速速度” ，这样的集群可能在 6 到 12 个月内具备“接管整个互联网 ”的能力，可能造成数千亿美元的损失 。
阿莫代伊的提议包括：对模型进行第三方评估 、AI 公司之间协调，以及民主政府国家之间协调 。
OpenAI CEO 萨姆·奥尔特曼周六表示 ，他同意阿莫代伊的观点 ，即 AI 公司需要“控制前沿的节奏 ”。
奥尔特曼表示：“承诺让独立评估者拥有类似员工的访问权限，是个好主意 ，我们也会这样做 。”
SpaceX 和特斯拉的埃隆·马斯克多年来一直就 AI 带来的风险发出警报 ，他在 X 上发帖说：“达里奥是对的 。 ”
人道技术中心的哈里斯：Hugging Face AI 攻击给世界发出了一记“警告信号 ” 立即观看
周一，网络安全公司 CrowdStrike CEO 乔治·库尔茨回应了阿莫代伊的文章。
他说：“前沿会以它自己的速度前进 。世界其他地方不会慢下来 。我们在网络安全界的职责 ，是确保它安全、稳妥地前进。”他列举了 AI 影响网络安全行业的多种方式。
库尔茨在 X 上说：“威胁的单位不再是黑客 。它是一个自主行动战役 。我称之为‘智能体国家’（Agent-state）。我们看到协调一致的 AI 智能体以机器速度执行攻击战役 。”
这位 CrowdStrike CEO 还表示 ，在组织中工作的 AI 智能体应该有一个“关闭开关 ”，防御应该是“自主的 ” ，同时“由人类掌握高影响决策” 。
监管讨论升温
在考克森和胡宾格的言论之后 ，美国立法者加大了对 AI 开发加强监管的呼吁。
马萨诸塞州民主党众议员洛里·特拉汉上周五表示，两党支持已达到“临界点 ” 。
过去几周 ，立法者提出了多项旨在监管 AI 的法案 ，其中包括《AI 关闭开关法案》 。该法案将要求某些强大 AI 系统的开发者保持关闭 、限流或暂停其模型的能力。
阿莫代伊在文章中说，监管是“控制 AI 开发节奏最有效的方法 ” 。
阿莫代伊说：“Anthropic 长期以来一直支持合理且有针对性 AI 监管，特别是专注于透明度和第三方审计的法案 。”但他承认 ，“通过法律可能需要时间 ”。
Cohere CEO戈麦斯在“The Tech Download ”中参与了对监管和 AI 开发放缓的讨论 ，尤其是针对 OpenAI-Hugging Face 事件 。
戈麦斯说，他“不确定一个政府监督机构能做什么来防止”Hugging Face 被黑事件 。
戈麦斯说：“我认为 ，认为政府机构本可以有所贡献 ，这有点一厢情愿。但我绝对……理解放缓开发的呼吁。与此同时，还有与中国的竞赛 ，所以我认为我们处在一个艰难处境 。 ”
