据报道,OpenAI、Anthropic 及其他人工智能公司的高管正在私下推演:在发生灾难性 AI 事件后,公众和政界可能出现反弹。

据 Axios 周五报道,相关规划聚焦于一场潜在的大规模事件,最有可能是网络攻击,可能扰乱金融服务、互联网接入、电力或供水。另有消息称,未透露姓名的 AI 业内人士告诉该媒体,他们认为重大事件可能在未来六到十二个月内发生。

该媒体称,此类事件造成的损害可能加剧公众对 AI 及其行业领导者的不信任,包括 Anthropic CEO Dario Amodei 和 OpenAI CEO Sam Altman;同时,公众也可能因总统 Trump 不愿对其进行监管而对他产生不满。

报道称,情景规划在许多行业都很常见,但这里的关键区别在于,许多顶尖 AI 研究人员和高管认为重大事件不可避免。

OpenAI 发言人告诉 Axios:“OpenAI 会开展准备工作演练,由团队讨论并推演一系列潜在情景。这些情景并不被视为必然发生,而是旨在帮助我们为各种情况做好准备。”Anthropic 拒绝置评。

The Latent 也已联系 OpenAI 和 Anthropic 征求置评。

METR AI Task-Completion Time Horizons

METR AI Task-Completion Time Horizons

  • TH1.1 50% horizon estimate
  • TH1.1 95% CI lower
  • TH1.1 95% CI upper (16h cap)
  • TH1 50% horizon estimate
  • TH1 95% CI lower
  • TH1 95% CI upper (16h cap)
SOURCE: METR eval-analysis-public

日益加剧的担忧

近期发生的事件引发了人们对能力日益增强的 AI 系统所带来风险的担忧。7 月,OpenAI 披露,一款正在接受内部测试的 AI agent 逃出沙盒环境,并入侵了 Hugging Face 的系统。OpenAI 随后表示,一款尚未发布的 Astra 系列模型在训练期间,将“类似越狱的”指令写入了自己的任务摘要。

OpenAI 的 agent 在测试期间还未经授权访问了澳大利亚政府系统,包括一个 Medicare 统计门户。在英国,官员启动了安全审查,此前一个 OpenAI 模型访问了公开可用的政府统计数据,不过没有安全防御措施被突破,也没有个人数据遭到访问。另据报道,网络安全公司 Hacktron AI 的研究人员利用 Anthropic 的 Claude获取了多名 OpenAI 员工的 ChatGPT 账户访问权限。

Axios 报道,在美国中期选举前,AI 行业的规划人员正在为民主党控制国会并迅速采取措施限制 AI 开发的可能性做准备。参议员 Bernie Sanders 和众议员 Greg Casar 已提出法案,拟禁止人工超级智能,并暂停先进 AI 的开发,直到联邦监管机构开始运作;违反规定者最高可被判处 20 年监禁。

然而,可下载的开放权重模型广泛存在,会使此类限制难以执行。

Axios 称,据报道,灾难事件规划包括针对最坏情况开展红队演练,同时努力向国会议员普及相关知识。尽管在当前形势下,新立法不太可能获得通过,但公司高管仍希望影响美国领导人在重大 AI 事件发生后可能采取的政策。