우리 이제 곧 죽는다

앤트로픽과 오픈AI에서 근무했던 AI 리서처 제이콥 콕슨은 이 두 회사 내부에서 2030년 전에 인류가 멸종할 수 있다고 믿는 사람들이 있다고 남겼다. 그는 현재 초지능을 향한 경쟁은 인류의 생존을 건 도박이라고 경고하고 있다. 근데 이런 목소리를 내는 것은 콕슨 혼자가 아니다. 한 댓글에서는 “지금 이건 마치 재난 영화에서 과학자가 대통령에게 경고하는 장면과 같다”라고 하기도 했다. 때마침 그 앙숙 같았던 일론 머스크, 샘 알트먼, 다리오 아모데이 모두 입을 모아 AI 개발 속도를 늦춰야 한다고 하고 있다.

한편으로는 이 모든 게 하나의 자작극이라는 주장도 있다. 막대한 투자금을 투입한 프론티어 랩들에서 오픈 소스 모델을 금지할 명분을 만들기 위해 이러한 여론을 만들어내는 것이 아니냐는 것이다. 현재 증시와 프론티어 랩들의 가치는 모두 AGI에 대한 기대감에 상승했는데, 오픈 소스 모델의 약진으로 시장 점유율을 빼앗기게 된다면 상당한 충격이 가해질 것이고, 그렇기 때문에 통제할 수 없는 오픈 소스 모델의 개발을 전면 금지 하려는 공작일 수도 있다는 관측이다.

여기서 트럼프 대통령은 “우리는 중국을 상대로 AI에서 이기고 있다”, “AI를 이기는 쪽이 이긴다”고 남겼다. 아무래도 트럼프는 개발 속도를 늦추는 것이 좋지 않다고 생각하는 모양이다. 당연히 누구의 AI 모델 개발 속도를 늦추자는 것인지는 또 별개의 문제다. 트럼프는 항상 말의 앞뒤가 다른 사람이기 때문에 그의 발언을 절대 액면가로 받아들여선 안 된다.

그렇다면 AI 개발은 늦춰질까? 난 아니라고 본다. 전형적인 죄수의 딜레마이기 때문이다. 착한 선택을 하는 사람만 손해 보는 구조라는 것이다. 그리고 그 피해는 사회가 고스란히 떠안게 된다. 각 프론티어 랩은 각각의 이유로 제일 먼저 AGI를 만들어내기 위해 노력할 것인데, 그 과정에서 AI의 정렬도 무시될 것이고 안전 수칙 따위는 지켜지지 않을 것이다. 재귀적 자기 개선을 1초라도 빨리 개발하는 쪽이 압도적 우위에 설 것이기 때문이다.

여기서 개인이 할 수 있는 일은 별로 없다. AI 개발은 국가 전략으로 편입되었기 때문이다. 핵보다 강력한 무기를 가질 수 있다면 무슨 수를 써서라도 먼저 손에 넣는 것이 중요하다. 그 무기가 설사 자기를 공격할 수 있다는 시나리오가 존재할지언정, 나의 적이 먼저 갖게 할 수는 없다. 우리가 아무리 밖에 나가서 시위를 해도, 데이터 센터 건축을 반대해도, 우리는 아무것도 할 수 없다. 운명을 받아들여라. 우린 곧 다 죽는다.