미국 대통령 Donald Trump는 인공지능이 인류의 멸종으로 이어질 수 있다는 점을 우려하지 않으며, AI 분야에서 미국이 중국보다 앞서도록 하는 것이 자신의 우선 과제라고 말했다.
목요일 늦게 Dallas를 떠나던 Trump에게 기자들이 AI가 인류의 멸종으로 이어질 가능성에 대해 우려하는지 묻자, Trump 는 "아니요, 전혀 우려하지 않습니다"라고 답했다.
Trump는 "AI 경쟁에서 이기지 못하면 매우 불리한 상황에 놓일 수 있다는 점을 우려하고 있습니다"라며 "현재 우리는 중국보다 꽤 앞서 있습니다. 1년 정도라고 말할 수 있는데, 아시다시피 1년은 상당히 긴 시간으로 여겨집니다"라고 말했다.
이 발언은 Anthropic과 OpenAI 연구진이 점점 강력해지는 AI 시스템을 인간이 통제하기 어려워질 수 있다고 우려한 뒤 나왔다.
연구진, 자기개선 AI에 대해 경고
OpenAI에서 AI 연구를 수행했고 가장 최근에는 Anthropic에서 일했던 Jacob Coxon은 AI가 개발되는 방식에 대한 우려로 Anthropic을 떠난다고 화요일 밝혔다.
Coxon은 Anthropic과 OpenAI가 "자기개선 초지능"을 향해 경쟁하고 있으며 "우리의 목숨을 걸고 도박하고 있다"고 말했다. 그는 향후 AI 시스템이 해킹에 매우 능숙해지고, 과학 연구를 빠르게 진전시키며, 현실 세계의 자원에 접근할 수 있다고 경고했다.
그는 또한 이 기술을 개발하는 사람들이 AI가 "이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다"고 믿는다고 말했다.
Anthropic의 정렬 과학 책임자인 Evan Hubinger는 개인적으로 향후 10년 안에 이러한 결과가 발생할 가능성이 10%를 넘는다고 믿는다고 말했다.
우려의 상당 부분은 재귀적 자기개선(RSI)에 집중돼 있다. 이는 AI 시스템이 인간의 관여를 제한적으로만 받으면서 자기 자신의 최신 버전을 구축하거나 훈련하는 과정이다.
OpenAI는 수요일 완전 자율형 RSI는 "오늘날 일어나고 있지 않다"고 말했다. 이어 "그러나 AI는 차세대 모델을 개발하고 정렬하는 데 사용되는 연구의 일부를 이미 가속하고 있다"고 덧붙였다.
OpenAI 최고과학자 Jakub Pachocki는 지난주 현재의 AI 발전이 결국 RSI로 이어질 수 있다는 데 "강한 확신"을 갖고 있다고 썼다.
OpenAI는 이후 공동 표준 마련을 촉구했다. 여기에는 개발을 늦추거나 중단해야 하는 시점에 관한 기준도 포함된다.
AI 규제 논쟁 격화
이 문제는 워싱턴의 lawmakers로부터도 점점 더 많은 관심을 받고 있다.
7월 공화당 하원의원 Jay Obernolte와 민주당 하원의원 Lori Trahan은 초당적 FRONTIER Act를 발의했다. 이 법안은 주요 AI 개발업체가 위험 관리 계획을 공개하고, 독립적인 감사를 받으며, 중대한 사고를 보고하도록 요구한다.
이달 초 Bernie Sanders 상원의원과 Greg Casar 하원의원은 입법 계획을 발표했다. 이 법안은 초지능 AI의 개발과 사용을 영구적으로 금지하는 내용을 담고 있다. 또한 새로운 연방 규제기관이 안전 규정을 마련할 때까지 첨단 AI 개발을 중단하도록 한다.
그러나 Trump 행정부는 규제를 최소화하는 접근을 선호해 왔다. 이달 초 G20 혁신 장관들은 미국이 주도한 Carolina Principles를 지지했다. 이는 유연한 정책과 가능한 경우 기존 규정의 활용을 선호하는 비구속적 프레임워크다.
Trump는 AI 데이터센터의 빠른 확장도 지지해 왔다. 그는 지난달 데이터센터 건립을 거부하는 지역사회가 "뒤처지고 가난해질 위험이 있다"고 말하며, 중국이 미국 내 이러한 프로젝트에 대한 반대에 "더할 나위 없이 기뻐할 것"이라고 덧붙였다.