美国总统 Donald Trump 表示，他不担心人工智能可能导致人类灭绝，首要任务是让美国在 AI 领域保持对中国的领先。
周四晚些时候，记者在 Trump 离开达拉斯时询问他是否担心 AI 导致人类灭绝，Trump 回答说：“不，我完全不担心。”
Trump 说：“我担心的是，如果我们不能赢得 AI 竞赛，我们将陷入非常糟糕的境地。我们现在领先中国相当长一段时间。我会说是一年，这已经算很多了。”
他的言论发表之际，Anthropic 和 OpenAI 的研究人员正对日益强大的 AI 系统变得难以由人类控制表示担忧。
研究人员警告自我改进 AI 的风险
Jacob Coxon曾在 OpenAI、最近在 Anthropic 从事 AI 研究。他周二表示，由于担心 AI 的开发方式，自己将离开 Anthropic。
Coxon 表示，Anthropic 和 OpenAI 正在竞相开发“自我改进的超级智能”，并“拿我们的生命下注”。他警告说，未来的 AI 系统可能具备高超的黑客攻击能力，迅速推进科学研究，并获得现实世界资源的访问权限。
他还表示，开发这项技术的人相信，它可能“在本十年结束前杀死我们所有人”。
Anthropic 的对齐科学负责人 Evan Hubinger 表示，他个人认为，未来十年内出现这种结果的可能性超过 10%。
许多担忧集中在递归式自我改进（RSI）上。这一过程是指 AI 系统在有限的人类参与下，帮助构建或训练自身的更新版本。
OpenAI 周三表示，完全自主的 RSI“目前尚未发生”。该公司补充说：“然而，AI 已经在加速用于开发和对齐下一代模型的部分研究。”
OpenAI 首席科学家 Jakub Pachocki上周写道，他“强烈预期”当前 AI 的进展最终可能带来 RSI。
OpenAI 此后呼吁制定共同标准，包括明确何时应放缓或停止开发。
AI 监管争论升温
这一问题也日益受到华盛顿立法者的关注。
今年 7 月，共和党众议员 Jay Obernolte 和民主党众议员 Lori Trahan 提出了两党共同支持的FRONTIER Act。该法案将要求领先的 AI 开发商公布风险管理计划、接受独立审计，并报告严重事故。
本月早些时候，参议员 Bernie Sanders 和众议员 Greg Casar宣布了相关立法计划，该法案将永久禁止开发和使用超级智能 AI。法案还将暂停先进 AI 的开发，直到新的联邦监管机构制定安全规则。
不过，Trump 政府倾向于采取宽松监管。本月早些时候，G20 创新部长支持了美国主导的《卡罗莱纳原则》。这是一项不具约束力的框架，倾向于采取灵活政策，并尽可能使用现有规则。
Trump 还支持迅速扩大 AI 数据中心的规模。上月，他表示，拒绝这些数据中心的社区可能会变得“落后而贫穷”，并补充说，中国看到美国反对这类项目会“再高兴不过”。