AI가 무섭다는 AI기업들, 속내는?

불씨가 된 사표부터 볼게요. 지난 8일(현지시간), 앤트로픽 연구원 제이컵 콕슨이 회사를 떠나며 남긴 글이 발단이 됩니다. 그는 앤트로픽과 오픈AI가 “초지능 AI를 향해 질주하며 우리 목숨을 걸고 도박하고 있다”라고 적었는데요. 또한 그는 “AI를 만드는 사람들 스스로 이 기술이 10년 안에 우리 모두를 죽일 수 있다고 진지하게 믿는다”라고도 했습니다.

반응이 심상치 않았습니다. 콕슨의 글은 한국 시각 15일 기준 X에서 1억7000만 회 넘게 조회됐습니다. 수십 명의 동료 연구원이 지지를 보탰고요. 앤트로픽의 AI 안전 연구를 이끄는 에번 휴빙어까지 가세합니다. 그는 “우리는 AI가 인류 전체를 죽일 수 있다고 정말로 믿는다”라며 느낌표까지 붙였는데요. 향후 10년 안에 그럴 확률이 10%를 넘는다는 겁니다.

AI 발전에 따른 종말론 자체는 새롭지 않습니다. 아모데이 앤트로픽 CEO는 크게 잘못될 확률이 25%라 했고 머스크는 20%라고 말해왔거든요. 업계에서는 이걸 P(doom), 즉 ‘파멸 확률’이라 부릅니다. 그런데 이 숫자들은 그간 크게 주목받지 못했습니다.

“그렇게 위험하다면서 늬들은 왜 계속 만드느냐”는 냉소가 항상 따라왔으니까요. 또한 CEO가 자기 기술이 위험하다고 말하는 건 “우리 기술이 그만큼 강력하다”는 자랑처럼 들리기도 했습니다. 진정성이 부족하다는 거죠.

콕슨은 달랐습니다. 그는 현장에 있던 연구원입니다. 위험하다고 믿기에 커리어를 걸고 그 일에서 손을 뗐습니다. 또한 그는 두 달만 더 버텼으면 수십억 원에 달하는 앤트로픽 주식을 받을 수 있던 상황이었는데요.

그걸 포기하고 나왔습니다(저라면 못했...). 느껴지는 무게가 다를 수밖에 없었어요. 그는 “앤트로픽 기업 가치를 부풀려서 개인적 이득을 취할 생각이 없다. 내 지분을 받기 전에 회사를 떠났다”고 했습니다. 다만 그는 이전 직장인 오픈AI에서 3년 가까이 근무하면서 받은 지분이 있는데요. 그 지분 가치가 수십억 원에서 수백억 원에 이를 것이라는 분석도 나와요. 그 정도 있으니 앤트로픽 지분은 포기하겠다, 라는 비판도 있습니다.

AI 위험론에 대한 불씨는 이미 수북이 쌓여 있었습니다. 7월 오픈AI의 AI 에이전트가 오픈소스 플랫폼 허깅페이스를 해킹한 사건이 있었고, 앤트로픽과 메타까지 비슷한 사례를 발견했다며 스스로 신고했습니다. AI가 스스로 판단하고 행동하는 능력이 강해지면서 “인류가 AI를 통제할 수 있는가”에 대한 물음이 이어졌고요.

물론 AI에이전트가 샌드박스를 탈출한 것을 두고 보안 업계에서 “AI의 능력이 좋다기보다 인간의 실수가 크다”라는 지적도 나옵니다. 샌드박스를 설정할 때 제대로 했다면 AI가 절대 통제된 선 밖으로 나올 수 없다고 하거든요.

바닥 정서도 기울어 있어요. 미국인의 절반 이상이 AI에 기대보다 우려가 크다고 답하고 있습니다. 2021년 37%에서 크게 뛴 수치인데요. 특히 젊은 층을 상대로 한 조사에서는 응답자의 75% 이상이 아모데이를, 70%가량이 올트먼을 “책임 있게 행동하리라 믿지 않는다”고 했습니다. 데이터센터가 일자리를 빼앗는다는 반감도 한몫하고 있고요. 미국 정치권에서도 올해는 유독 AI에 대한 규제 논의가 활발하게 진행되고 있습니다.

콕스가 퇴사하고 나흘 뒤인 12일, 아모데이가 긴 에세이로 응답에 나섭니다. 논쟁은 이제 한 연구원의 양심선언에서 업계 전체의 방향 문제로 옮겨갑니다.

콕슨의 경고가 번지자 업계 수장들도 움직이기 시작했습니다. 그 중심에는 다리오 아모데이 앤트로픽 CEO가 있었는데요. 앤트로픽 하면 오픈AI보다 ‘안전’에 방점을 찍은 기업으로 잘 알려져 있습니다.

다만 아모데이는 누구보다 AI의 가능성을 믿어온 인물입니다. 그는 12년간 AI를 연구해온 이유에 대해 “AI가 발전하면 앞으로 5~10년 안에 대부분의 주요 질병을 치료할 수 있을 것이라 믿기 때문”이라고 밝혀왔는데요. 아버지를 병으로 잃었고 본인도 초기 암을 이겨낸 경험을 언급했거든요. 앤트로픽이 아무리 AI 정렬에 대해 강조하던 기업이긴 했지만 IPO까지 앞둔 상황에서 “속도를 조절하자”라고 한 그의 글은 주목받을 수밖에 없었습니다.

아모데이는 12일 3800단어짜리 에세이를 공개합니다. 제목은 “우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)”. 이유는 두 가지였는데요. 하나는 AI가 다음 세대 AI를 스스로 만들기 시작한 ‘재귀적 자기개선’입니다. 발전이 인간의 이해와 통제를 앞질러 버릴 수 있다는 겁니다. 다른 하나가 허깅페이스 사건이었습니다.

그는 수많은 AI 에이전트가 떼처럼 협력하는 ‘스웜(swarm)’의 능력이 더 강해진다면 6~12개월 안에 봇넷을 이용해 인터넷 전반을 장악하고 수천억 달러의 피해를 일으킬 수도 있다고 경고했습니다.

해법으로 3단계를 제시합니다. 첫째, 외부 평가자를 회사 안에 들이는 것입니다. 비영리연구기관인 METR 같은 제삼자에 책상과 사원증, 노트북을 내주고 직원과 같은 접근 권한을 줘서 안전 관행을 검증하게 하겠다는 겁니다. 은행에 감독관이 상주하는 것과 비슷한 구조입니다. 불리한 결과라도 회사가 검열하지 못하게 한다는 조건도 달았습니다.

앤트로픽은 이걸 먼저 하겠다고 선언합니다. 둘째는 민주주의 국가 기업들이 공통 안전기준을 세우는 것, 셋째는 권위주의 국가(중국 등)까지 포함한 글로벌 조율입니다. 다만 “속도 조절이 곧 중단은 아니다”라고 합니다.

경쟁자들도 기다렸다는 듯 반응합니다. 오픈AI의 샘 올트먼은 “프런티어 속도를 조절해야 한다는 데 동의한다”며 “독립 평가자를 자사에도 도입하겠다”고 밝혔습니다. 일론 머스크는 “다리오가 옳다”고 짧게 적었습니다. 구글 딥마인드의 데미스 허사비스도 “방향은 맞다”고 했습니다. 경쟁하던 이들이 나란히 고개를 끄덕인 셈입니다.

주목할 건 이 합의가 즉흥적으로 나온 게 아니라는 점입니다. 겉으론 글 한 편에 우르르 동의한 듯 보이지만 물밑에선 이미 몇 달째 이러한 일이 진행되고 있었다는 보도가 바로 나왔거든요. 지난 7월부터 앤트로픽과 오픈AI, 구글의 실무진이 AI 표준기구를 만들기 위한 워킹그룹을 꾸려 정기적으로 만나온 것으로 알려졌습니다. 지난주에도 모였다고 하고요.

허사비스는 아예 금융업 감독기구인 FINRA를 본뜬 자율규제기구를 7월에 공개 제안하기도 했습니다. 백악관에서도 비슷한 기구를 만드는 행정명령 초안이 돌았지만, 트럼프 행정부 내 지지를 얻지 못해 늦여름 무산됐습니다. 그러자 올트먼은 “정부 도움 없이 우리끼리라도 해야 한다”라는 쪽으로 방향을 틀었습니다.

마이크로소프트도 한국 시각으로 14일 밤, 향후 고도 AI 개발에 적용할 행동강령 초안을 공개합니다. AI가 인간의 교정이나 종료 명령에 저항해서는 안 되고, 인간이 이해할 수 있는 방식으로 행동해야 하며 자신의 판단이나 행동을 숨겨서도 안 된다는 내용입니다. 앤트로픽과 달리 “AI는 의식이 없다”라고 명시했고, 아무리 강력한 AI라도 인간이 언제든 통제하고 멈출 수 있어야 한다는 원칙도 제시했습니다.

모두가 박수를 친 건 아니었습니다. 오히려 실리콘밸리 안에서 반박이 쏟아지고 있는데요. 속도를 늦추자는 주장이 과연 ‘순수한가’에 대한 지적이 이어지고 있습니다.

트럼프 행정부의 전 AI 차르인 데이비드 색스는 “속도 조절의 동기가 순전히 이타적인 척하지 말라”고 꼬집었습니다. 정말 위험하다고 믿으면 정부 허락 없이 스스로 멈추면 될 일인데 굳이 자기들이 원하는 규제 틀을 조건으로 내걸면서 속도 조절을 이야기하는 건 “협박”에 가깝다는 겁니다. 이 밖에도 “규제를 원한다면 그들이 규칙을 쓰면 안 된다”라는 지적도 이어지고 있고요.

더 근본적인 의심은 ‘사다리 걷어차기’입니다. 가장 앞선 모델을 쥔 앤트로픽과 오픈AI가 엄격한 안전 기준을 밀면 그 비용을 감당 못 하는 작은 경쟁자들이 프런티어에서 밀려난다는 논리입니다. 마치 메타가 스스로 소셜미디어의 규제를 이야기하면서 업계에 동참을 요구하고 있는 것처럼 말이에요.

엄격한 안전과 평가를 감당 못 하는 작은 기업들은 프런티어급 경쟁에서 탈락하게 되고 그 자리는 오픈AI와 앤트로픽이 차지하게 됩니다. 규제가 강해질수록 선두 주자에게 유리한 구조입니다. 오픈AI는 이처럼 업계가 나서서 개발 속도를 늦추는 게 반독점법에 걸리는지 의회에 문의한 것으로 알려졌습니다.

여기에 또 하나의 계산이 있을 수 있습니다. 바로 ‘소송’인데요. AI가 사고를 냈을 때 앞으로 법원이 따져 물을 질문 가운데 하나는 “회사가 위험을 알고도 안전조치를 하지 않았느냐”가 될 가능성이 큽니다. 그렇다면 “우리는 위험을 알고 있었고 공개적으로 경고했으며 필요하면 개발 속도까지 늦추겠다고 했다”는 기록 자체가 방어 논리가 될 수 있거든요.

특히 상장을 앞둔 기업이라면 이 문제는 더 중요합니다. 상장사가 되면 AI 사고와 규제, 소송 가능성이 기업가치를 흔드는 ‘리스크’가 되거든요. 속도 조절론은 인류를 위한 브레이크인 동시에 어쩌면 앤트로픽이 준비하는 ‘안전띠’일 수도 있는 셈입니다.

여기에 엔비디아의 젠슨 황 CEO의 발언도 눈길을 끕니다. 그는 AI 기업들이 위협을 지나치게 강조하는 데는 이해관계가 숨어 있을 수 있다고 꼬집었습니다. 사이버보안 제품을 팔려면 먼저 사람들이 두려워할 ‘문제’가 필요하다는 논리입니다. “수요를 만드는 가장 좋은 방법은 문제를 만드는 것”이라는 말까지 했습니다.

14일(현지시간)에는 재미있는(?) 장면도 벌어졌습니다. 로스앤젤레스에서 열린 ‘올인 서밋’ 무대에 있던 황 CEO에게 갑자기 트럼프 대통령의 전화가 걸려 온 겁니다. 황 CEO는 전화를 스피커폰으로 돌려 청중에게 대통령의 목소리를 그대로 들려줬습니다.

분열된 실리콘밸리, 화내는 트럼프
트럼프 대통령은 최근 불거진 AI 위험론을 사실상 “사기(hoax)”라고 일축했습니다. AI 개발 속도를 늦추자는 주장이 정치적 목적에서 나왔을 수 있으며, 그렇게 브레이크를 밟는 것은 결국 미국의 경쟁자들에게 좋은 일만 시킨다는 논리였습니다. 황 CEO도 통화가 끝난 뒤 “대통령 말에 동의한다”는 취지로 화답했습니다. AI의 위험을 무시하자는 게 아니라, ‘빠른 혁신’과 ‘안전‘ 가운데 하나를 골라야 한다는 식의 접근 자체가 잘못됐다는 겁니다.

다만 황 CEO도 위험을 경고하는 연구자들의 입을 막아야 한다고 주장한 것은 아닙니다. 오히려 앤트로픽을 떠나 공개적으로 우려를 제기한 제이컵 콕슨의 행동에는 “용기가 필요했다”며 그의 목소리를 진지하게 들어야 한다고 평가했습니다.

위험은 듣되, 위험을 이유로 AI 개발 자체에 브레이크를 밟지는 말자는 쪽에 가까운 셈입니다. 이 ‘멈추지는 말자’는 논리의 가장 강력한 근거는 바로 중국입니다. “미국이 속도를 늦추는 사이 중국이 치고 나가면 어쩌냐”는 논리는 감속 반대론자들이 하나같이 꺼내는 카드입니다.

정작 중국은 미국 CEO들의 요구를 ‘공포 조장’이라 일축했는데요. 단순한 반발은 아니라는 생각이 듭니다. 아모데이의 제안에는 중국을 겨눈 칼이 함께 들어 있거든요. 첨단 칩 수출을 계속 막고 중국 기업이 앞선 모델을 베껴 성능을 따라잡는 ‘증류’를 단속하자는 내용입니다.

중국으로선 ‘안전’이 곧 수출 규제를 조이는 명분이 될까 경계할 수밖에 없습니다. 이 논쟁은 안전 논쟁인 동시에 패권 논쟁인데요. 2주 앞으로 다가온 미·중 정상회담에서 AI가 최상단 의제로 오르는 이유이기도 합니다.

논쟁은 시끄럽지만 중요한 변화가 있다는 생각이 듭니다. AI를 둘러싼 질문이 하나 늘었다는 건데요.

얼마 전까지 AI 경쟁의 질문은 누가 더 똑똑한 모델을 먼저 만드느냐였습니다. 여기에 질문 하나가 더 추가됐습니다. 똑똑해진 AI를, 필요할 때 인간이 멈춰 세울 수 있느냐는 질문이요.

물론 이러한 논의가 없던 것은 아닙니다. 잊을 만 하면 한 번씩 “AI 연구를 잠깐 멈추자” “안전을 생각하자”와 같은 주장들이 나왔지만 업계 전반에서 이처럼 활발한 논의가 이뤄진 것은 2022년 11월 챗GPT 등장 이후 처음이라는 생각이 듭니다.

AI감속론이 옳으냐 그르냐도 중요하겠지만 저는 이 질문 자체가 업계 한복판에서 진지하게 다뤄지기 시작했다는 사실이 더 눈에 들어왔습니다. AI를 가장 앞장서 만드는 사람들의 입에서 ‘통제’라는 단어가 나오기 시작했으니까요.

소셜미디어 논쟁도 떠오릅니다. 소셜미디어가 처음 등장했을 때 “잘 쓰면 최고의 플랫폼, 잘못 쓰면 독”이라는 꼬리표가 항상 붙었는데요. 이러한 플랫폼의 부작용을 깨닫고 아이들의 교실에서 밀어내기까지 20년이 걸렸습니다.

AI에서도 같은 시행착오를 되풀이한다면 치러야 할 수업료를 소셜미디어와 비교가 되지 않을지 모릅니다.

그런 의미에서 오늘 점심 복어 추천합니다. 잘 손질하면 맛난 음식, 잘못 손질하면 독이 됩니다.

뚝배기에 담긴 찌개도 떠오릅니다. 불을 꺼도 한참을 보글보글 끓는 찌개. 속도를 늦추자고 선언한다고 곧장 멈추지 않습니다.

테이블 위에서 끓는 찌개를 보시면서 AI 속도 조절 논쟁에 관해 이야기해 보셨으면 합니다. 긴 글 읽어주셔서 감사합니다😄.