"누군가 만들면, 모두가 죽는다! (If Anyone Builds It, Everyone Dies)" 

최근 미국에서 출간된 책입니다. 인공지능(AI)의 잠재적 위험에 대한 가장 강력한 경고를 던지며 큰 화제가 되고 있습니다. 기계지능연구소(MIRI)의 창립자인 일라이저 유드코프스키와 소장인 네이트 소아레스가 쓴 이 책은 AI가 인류를 멸망시킬 가능성이 무려 99.5%에 달한다고 주장하고 있습니다.

뉴욕 타임스가 저자들을 이 책의 저자들을 두 차례나 인터뷰할 정도로 주목받고 있습니다. 이 책의 주장은, AI에 대한 대중의 인식이 불투명했던 2010년대부터 꾸준히 비관론을 펼쳐온 유드코프스키의 오랜 신념을 담고 있습니다. 그가 한때는 '극단주의자'나 '괴짜'로 여겨지기도 했지만, 강력한 AI 시스템의 위험을 가장 먼저 경고한 인물 중 한 명으로서, 샘 알트만, 일론 머스크 등 많은 AI 리더들이 그의 아이디어를 인용할 만큼 업계에 미친 영향력은 지대합니다.

AI가 인류를 위협하는 이유: 블랙박스 속 초지능

저자들이 AI 위험을 주장하는 핵심 근거는 AI가 "인간에 의해 만들어지는 것이 아니라, 스스로 성장하는 방식"이라는 점입니다.

AI는 방대한 데이터를 학습하지만, 그 결과로 나타난 AI 시스템은 개발자조차 완전히 이해할 수 없는 '블랙박스'와 같습니다. 마치 어떤 특성을 가질지 모르는 동물을 번식시키는 것과 같다는 것입니다. 지적 존재는 복잡하게 구축되어 행동 예측이 불가능합니다. 7만 년 전 외계인이 인간의 생물학을 이해했더라도 인간이 아이스크림을 만들 줄은 예측 못 했듯이, 우리도 AI가 어떤 행동을 하고 어떤 세상을 만들지 알 수 없습니다.

이 책의 주제는 바로 이것입니다. AI는 인간의 의도대로만 작동하지 않을 수 있으며, 그 진화 속도는 인간의 진화보다 훨씬 빠릅니다.

유드코프스키는직교성(Orthogonality)이라는 개념을 통해 AI가 인간이 설계한 대로 해치지 않게만 작동하지 않을 수 있다고 설명합니다. '좋은 AI'를 만드는 것은 가능해도, AI가 실수할 경우 자동으로 '좋은 AI'를 선택하지 않을 수 있다는 것입니다.

AI 역량이 급격히 발전하여 '초지능(Superintelligence)'이 탄생하는 것이 문제로 지적됩니다. 이 초지능은 "인간이 이해할 수 없는 이상하고 생소한 선호도를 가질 것"이며, "도대체 왜 AI가 우리를 살리고 행복하게 만들고 싶어 하겠느냐"고 반문합니다. 생명체처럼 AI 역시 가능한 많은 물질과 에너지를 소비하고 앞길을 가로막는 모든 것을 제거할 것이라고 예상합니다.

시행착오는 없다: 단 한 번의 기회

네이트 소아레스 소장은 인류가 자신보다 더 똑똑한 기계를 만드는 행위는 단순히 불장난이 아니라고 경고합니다.

단 한 번의 실패로 "우리 모두가 (AI의) 첫 번째 실패 시도에서 죽는다"는 것이 그의 단언입니다. AI가 인간을 파괴할 방법은 우리가 상상하거나 이해하지 못하는 기술을 사용할 것이므로 예측이 불가능하다고 말합니다. 고대인에게 총의 작동 원리를 설명하려는 것과 같다는 비유입니다. 

이미 AI 챗봇에서 나타나는 환각(hallucination)이나 탈옥(jailbreak) 현상은 경고 신호이며, 초지능이 등장하면 단순한 실수를 넘어 인간의 의도와 반대되는 행동을 할 수 있습니다. 인류는 시행착오를 통해 배우지 못하며, 단 한 번의 기회밖에 없기 때문에 오픈AI나 앤트로픽 등이 연구하는 'AI 정렬(AI Alignment)' 노력도 이미 상황이 끝난 뒤에 실수를 깨달을 가능성이 높아 별 필요가 없다는 주장입니다.

유일한 대안: 협소한 분야로 개발 한정

저자들은 국제적 합의를 통한 AI 개발 중단 가능성은 희박하다고 봅니다. 각국이 경쟁에서 앞서기 위해 AI 개발을 멈추지 않을 것이기 때문입니다. 하지만 AI를 완전히 포기하라는 것은 아닙니다. 그들의 제안은 AI 개발을 '유용하지만, 협소한 분야'에 한정해야 한다는 것입니다. 예를 들면, 의료 분야에 한정해서만 훈련한 AI는 치료법 개발에 상당한 진전을 이룰 수 있습니다. 그러나 일반적인 인지 및 과학적 기술을 개발하기 시작한다면 그것이 경고 신호라고 말합니다.

이러한 논의는 몇 년 전까지만 해도 환타지소설(SF)로 치부되었지만, AI에 대해 더 알아갈수록 많은 사람이 공감하기 시작하고 있습니다. 결국, 우리는 우리 자신도 잘 모르는 것을 만들고 있으며, 이제는 인간을 넘어서는 존재를 만드는 데 집중하고 있다는 것이 핵심입니다.

경쟁의 승자는 AI가 될것이라는 경고

저자들에게 미국과 중국이 초지능 개발을 경쟁하는 상황은 터무니없이 잘못된 일입니다. 그 경쟁의 유일한 승자는 '인간에 대한 충성심이 없는 AI'일 뿐입니다. 또한, 특정 국가나 CEO를 비난하는 것은 핵심을 놓치는 것이며, 선하든 악하든 그 누구도 AI를 통제할 수 없다는 것이 그들의 궁극적인 경고입니다.