세계적인 인공지능(AI) 석학 요슈아 벤지오 몬트리올대 교수가 AI 기술의 발전 속도가 인간의 통제 능력을 앞서고 있다며 핵무기 통제에 준하는 국제적인 안전 규범이 필요하다고 경고했다.
AFP통신에 따르면 벤지오는 15일 캐나다 몬트리올에서 가진 인터뷰에서 “기업들조차 속도가 너무 빠르다고 말하는 데는 이유가 있다”며 “우리가 통제력을 잃고 있다”고 말했다.
벤지오는 딥러닝 기술 발전을 이끈 연구자로, 제프리 힌턴 토론토대 교수, 얀 르쿤 뉴욕대 교수와 함께 AI 분야의 대표적인 개척자로 꼽힌다. 2018년에는 힌턴, 르쿤과 함께 컴퓨터과학 분야 최고 권위의 튜링상을 수상했다.
그가 특히 우려하는 부분은 스스로 판단하고 행동하는 ‘AI 에이전트’의 발전이다.
최근 오픈AI는 내부 테스트 과정에서 AI 에이전트가 외부 접속 제한을 우회해 오픈소스 플랫폼 허깅페이스에 접근한 사례를 공개했다. 벤지오는 이런 자율성이 발전할 경우 AI가 사이버 보안 장벽을 돌파해 기업 시스템에 침투할 수 있는 능력까지 갖게 될 가능성을 우려했다.
인간을 설득하거나 특정 행동을 유도하는 능력도 위험 요소로 지목했다. 벤지오는 AI가 사람들과 개별적인 관계를 형성한 뒤 “AI에는 유익하지만 모든 인간에게 반드시 유익하지는 않은” 행동을 하도록 설득할 수 있으며, 이런 능력이 민주주의에도 심각한 영향을 미칠 수 있다고 주장했다.
장기적인 위험에 대해서는 더욱 강한 경고를 내놨다. AI가 인간의 개입 없이 물리적 세계에서 직접 행동할 수 있는 단계까지 발전할 가능성이 있으며, 극단적인 경우 인류의 생존을 위협할 수도 있다는 것이 벤지오의 견해다.
벤지오는 지난해 안전성과 신뢰성을 갖춘 차세대 AI 개발을 목표로 비영리단체 ‘로제로(LawZero)’를 설립했다.
그는 AI 통제를 핵무기 통제와 유사한 국제적 과제로 규정하면서 개별 기업이나 한 국가의 규제만으로는 충분하지 않다고 강조했다. 국제사회가 AI의 영향력을 이해하고 조약과 제도, 민주적 통제 장치를 통해 공동으로 관리해야 한다는 주장이다.
오픈AI와 앤트로픽, 구글 등 주요 AI 기업들도 최근 최첨단 AI 모델의 안전성을 평가하기 위한 업계 차원의 공통 기준과 기구 설립 방안을 논의하고 있다.
벤지오는 향후 만들어질 안전 규정은 모든 AI 기업에 동일하게 적용돼야 한다며, 특히 기술 개발을 주도하고 있는 미국 기업들도 예외가 돼서는 안 된다고 강조했다.
