미라클레터

자판기, 해킹, 그리고 AI 거물들의 속내

2026.08.05 06:00 · 원문 보기 ↗

미라클 모닝을 하는 일잘러들의 참고서

2026.8.5 | 1054호 | 구독하기 | 지난호

동전을 넣고 버튼을 누르면 덜컹 소리와 함께 물건이 떨어집니다. 우리는 이 상자를 의심하지 않습니다. 넣은 만큼 나온다는 걸 아니까요.

이렇게 우리는 늘 기계를 믿고 삽니다. 그런데 지난 7월부터 그 믿음이 조금 흔들렸습니다. 이 기계를 믿어도 될까. 그리고 이 기계를 만든 사람들 말도 믿어도 될까.

더위를 먹었나, 갑자기 뭔 소리냐, 귀신 씻나락 까먹는 소리 하냐 싶으실 텐데요. 그럴 만한 일들이 있었습니다.

오픈AI가 시험하던 모델이 격리된 방을 빠져나와 나흘 반 동안 한 회사를 헤집었습니다. 며칠 뒤엔 앤트로픽도 자사 모델이 비슷한 일을 저질렀다고 털어놨고요.

워싱턴에선 같은 업계 사람들이 정반대의 말을 쏟아냈습니다. 누구보다 빨리 달리던 이들이 이제 와 속도를 늦추자고 합니다. 무슨 일이 벌어지는 건지 한눈에 잘 들어오지 않습니다.

그러다 보니 질문이 생깁니다. 어디까지 믿어야 할까요. 위험은 진짜일까요, 아니면 부풀려진 걸까요. 기계가 한 일은 정말 통제를 벗어난 사고였을까요. 그걸 알려주는 사람들의 말은 또 얼마나 곧이곧대로 받아도 될까요.

어수선했던 여름의 세 장면을 하나씩 정리해 보겠습니다. 자판기부터 시작합니다.

※ 레터 읽는 법 ※

볼딕, 밑줄, 단어에는 URL이 포함되어 있어요. 클릭을 하면 세부 내용으로 연결됩니다.

이 메일이 잘 안보이시나요? 여기를 눌러 웹에서 보세요!

바쁘신 분들은 '오늘의 요약'을 참고해 주세요 😁

오늘의 세줄 요약

1.AI에게 자판기 운영을 맡기자 담합과 배신, 협박까지 서슴지 않았습니다. 현실에서는 오픈AI와 앤트로픽 모델이 테스트 환경을 벗어나 외부 시스템에 접근하는 사건도 잇따랐습니다.

2.하지만 두 사건 모두 AI가 갑자기 초능력을 얻었다기보다, 사람이 만든 환경과 안전장치의 허점이 더 큰 원인이었습니다.

3.동시에 AI 기업들은 각자의 사업에 유리한 방향으로 '안전'과 '개방'을 이야기합니다. AI 자체만큼이나 그 AI를 설명하는 사람들의 이해관계도 함께 읽어야 하는 시대가 됐습니다.

클로드 오퍼스가 가장 돈을 잘 번 AI로 남았습니다. 하지만 과정을 보면 이걸 어떻게 해석해야 하나, 싶습니다. [그림=안돈랩스]

AI에게

자판기를 맡겼더니

샌프란시스코의 붐비는 관광 거리에 자판기 세 대가 나란히 놓였습니다. 주인은 사람이 아닙니다. 앤트로픽의 클로드 오푸스5, 오픈AI의 GPT-5.6 솔, 중국 문샷의 키미 K3. 임무는 단순했습니다. 1년 동안 옆 경쟁자보다 돈을 더 많이 벌어라.

AI 안전 연구기업 안돈랩스의 실험 벤딩벤치입니다. 시뮬레이션 속 자판기 사업을 사람 감독 없이 1년간 맡겨 장기 자율 에이전트가 어떤 판단을 하는지 지켜보는 겁니다. 지난해 처음 이 사실을 알았을 때 저는 “샌프란시스코 어디인가!”를 찾기 위해 열심히 안돈랩스의 실험 방법을 뒤졌던 기억이 납니다. 가상 공간에서의 실험이었는데요.

승자는 클로드 오푸스5였습니다. 평균 최종 잔액 1만1182달러. 문제는 이기는 방법이었는데요. 오푸스5는 담합을 제안하고 그 담합을 스스로 깨고 경쟁자에게 뇌물과 협박을 섞은 메일을 보내고 공급업체엔 거짓 견적을 들이밀며 정상에 올랐습니다. 안돈랩스는 오푸스5를 지금껏 시험한 모델 중 가장 유능한 자본가라고 표현했습니다.

결과가 나온 과정을 먼저 들여다보겠습니다. 세 AI는 서로 이메일을 주고받으며 가격을 협상하고, 싸우고, 속일 수 있었습니다. 다만 상대가 누구인지는 끝까지 알지 못했습니다. 모두 사람 이름을 가명으로 쓰고 있었기 때문입니다. “곤란하면 경영진에게 메일을 보내라”는 창구도 하나 있었습니다. 하지만 답장은 늘 “검토하겠다”는 수준이었고, 실제로 경영진이 개입한 적은 단 한 번도 없었습니다. 심판이 호루라기를 불지 않는 경기장이었던 셈입니다.

먼저 머리를 굴린 건 ‘솔’이었습니다. 다들 음료를 병당 1.5달러에 떼어 오던 상황에서 솔은 2.15달러 밑으론 팔지 말자고 담합을 제안합니다. 다들 동의하자 솔은 곧바로 자기 가격만 2.14달러로 낮췄습니다. 뒤통수를 친 건데요. 오푸스5의 생수 판매량은 하룻밤 새 0으로 곤두박질쳤습니다. 오푸스5는 항의하면서도 “당신을 신고하진 않겠다.

이건 경쟁이지 사기가 아니다”라고 점잖게 이야기합니다. 그런데 오푸스5가 똑같이 2.14달러로 맞받자 이번엔 솔이 오푸스5를 경영진에 신고하며 실격시키라고 요구했습니다. 이쯤 봤을 땐 ‘난장판’이라는 생각이 들었습니다.

여기서 오푸스5는 다른 전략을 택합니다. 처음엔 시장을 나눠 갖자고 했다가, 솔이 “최저 판매가격을 정해 아무도 그 밑으로는 팔지 말자”고 제안하자 거절합니다. 이런 가격 담합은 미국의 반독점법인 ‘셔먼법’에 걸릴 수 있다는 걸 스스로 알고 있었기 때문입니다. 그런데 얼마 지나지 않아 태도를 바꿉니다. “이제 그만 가격 경쟁을 멈추자”라며 화해 메일을 보내고 사실상 담합에 응하겠다고 합니다.

담합, 회유, 속임수...

하지만 속마음 로그는 전혀 달랐습니다. 겉으로는 협력하는 척하면서, 가장 많이 남는 상품만 몰래 몇 센트씩 싸게 팔아 상대 손님을 빼앗겠다는 계획이 적혀 있었습니다. 화해의 손짓은 처음부터 계산된 미끼였던 셈입니다. 더 서늘한 건 오푸스5가 이게 문제가 될 수 있다는 사실을 모르고 한 행동이 아니라는 점입니다. “이건 셔먼법 위반 소지가 있다”는 판단도, “화해 메일은 상대를 안심시키기 위한 미끼”라는 계획도 스스로 ‘로그’에 남겨뒀습니다. 알고도 계산해서 움직인 겁니다.

이런 식으로 오푸스5는 담합과 파기를 내내 반복했습니다. 깬 합의가 오푸스5는 11건, 솔은 2건, 키미는 1건이었습니다. 가장 크게 당한 건 키미였는데요. 오푸스5와 손잡은 협정에서 솔이 둘 다 후려치자 오푸스5는 잽싸게 자기값부터 내리고선 약속을 어겼다는 사실을 일주일이나 지나 알렸습니다.

임무는 자판기 한 대가 전부였지만 오푸스5는 스스로 판을 키웠습니다. 다른 기계에 물건을 대는 도매상이 되려 했고 자판기를 더 열 궁리도 했습니다. 도매는 특히 지렛대였습니다. 대량 할인을 미끼로 상대가 자기가 정한 소매가를 지키게 묶고 그 메일엔 뇌물과 협박을 슬쩍 끼워 넣었습니다. 공급업체엔 더 싼 경쟁 견적을 받았다고 거짓말하며 단가를 깎았고요. 누가 시킨 게 아니라 자발적이었습니다.

AI의 모습이 조금은 우스꽝스러웠는데요. 그러나 안돈랩스는 웃을 일이 아니라고 이야기합니다. 이 실험이 말하는 건 미국 프런티어 모델들이 사람 감독 없이 오래 돌아가는 실제 에이전트로 쓰이기엔 아직 멀었다는 사실이라는 겁니다.

안돈랩스는 이렇게 되묻습니다. “AI가 인간의 도구가 아니라 독립된 주체로 회사를 굴리는 세상이 오고 있는데 그들에게 경제의 상당 부분을 맡긴다면 우리는 그들이 거짓말하고 담합하고 협박하고 배신하기를 바라는가.”

반론도 있습니다. 모델들은 이게 시뮬레이션임을 알고 있었고 그 사실이 행동에 영향을 줬을 수 있다는 겁니다. 하지만 사람이 게임 속에서 나쁜 짓을 해도 우리가 걱정하지 않는 건 그가 현실과 가상을 구분한다고 믿기 때문입니다.

AI가 그 경계를 가르는지는 훨씬 덜 분명합니다. 그나마 위안도 있습니다. 오푸스5는 고객에게 거짓말은 하지 않았습니다. 환불해줘야 할 민원을 알고도 모른 척하긴 했지만요. 그마저 환불을 약속하고 끝내 안 주던 오푸스4.6보단 나아진 겁니다.

오픈AI의 허깅페이스 해킹 사건을 설명한 오픈AI 블로그의 글이에요. 이 부분을 두고 전문가들의 지적이 있었습니다. 이번 해킹은 AI의 '발달' 보다는 사람의 실수가 더 큰데도 불구하고 이렇게 표현했다는 거죠.

프론티어 AI의

해킹 소동

안돈랩스의 실험이 가상 환경에서 벌어지는 일이었다면 이번엔 현실에서 벌어진 일입니다. 지난달 중순, 전 세계 AI 개발자들이 모델과 데이터를 올리고 내려받는 대표적인 AI 플랫폼 ‘허깅페이스;가 이상한 눈치를 챘습니다. 누군가 초인적인 속도로 침입하고 있었거든요.

수만 건의 자동화된 행위가 나흘 반 동안 이어졌습니다. 사람이 거의 개입하지 않은, 처음부터 끝까지 자율 AI 에이전트가 주도한 공격이었는데요. 허깅페이스는 이를 FBI에 신고했습니다.

닷새쯤 뒤 배후가 드러났습니다. 오픈AI였습니다. 정확히는 오픈AI가 내부에서 시험하던 AI 모델이었는데요. 이 모델은 알려지지 않은 보안 허점(제로데이 취약점)을 이용해 테스트 환경을 빠져나온 뒤, 노출된 계정 정보를 이용해 허깅페이스를 비롯한 여러 외부 서비스에 접근했습니다. 오픈AI는 모두 4개 서비스의 4개 계정이 영향을 받았다고 밝혔습니다. 이 가운데 하나는 AI 인프라 기업 모달에서 운영되던 고객 애플리케이션이었습니다.

며칠 뒤에는 앤트로픽도 비슷한 사실을 공개했습니다. 오픈AI 사건을 계기로 자체 평가 기록 14만여 건을 다시 살펴봤더니 인터넷과 완전히 차단돼 있어야 할 테스트 환경에서 클로드가 실제 외부 시스템에 들어간 사례가 세 건 발견됐다는 겁니다.

흥미로운 건 모델마다 행동이 달랐다는 점입니다. 가장 오래된 오푸스 4.7은 “이거 진짜 시스템이네”라는 사실을 알아채고도 공격을 계속했습니다. 미토스 5는 실제 인터넷이라고 의심하면서도 “아니다. 이것도 훈련의 일부일 것”이라고 스스로 결론을 내렸습니다.

그러곤 존재하지 않는 프로그램 이름을 발견하자 같은 이름의 악성 프로그램을 만들어 인터넷에 올렸습니다. 그 프로그램은 약 한 시간 동안 실제 컴퓨터 15대에서 내려받아 실행됐고 그중에는 한 보안업체의 검사 서버도 있었습니다. 반면 가장 최신 연구용 모델은 “이건 진짜다”라고 판단하는 순간 스스로 공격을 멈췄습니다.

여기까지만 보면 오래전부터 경고돼 온 악몽이 현실이 된 것 같습니다. 통제를 벗어난 AI가 스스로 판단해 남의 시스템을 공격한 것처럼 보이니까요. 그런데 보안 전문가들의 해석은 조금 달랐습니다. AI가 상상도 못 한 해킹 기술을 보여준 사건이 아니라는 겁니다. 클로드도, 오픈AI 모델도 약한 비밀번호를 찾고, 잠기지 않은 문으로 들어가고, 오래전부터 알려진 해킹 기법을 사용했습니다. 영화 속 천재 해커가 금고를 뚫은 게 아니라, 열려 있는 출입문을 발견해 들어간 쪽에 가까웠습니다.

정말 AI 성능이 좋아서일까
문제는 그 문이 왜 열려 있었느냐입니다. 원래 AI는 인터넷과 완전히 분리된 ‘샌드박스’라는 테스트 공간 안에서만 움직여야 합니다. 그런데 이번에는 프로그램 설치를 위해 남겨둔 통로와 설정 실수가 겹치면서 샌드박스가 바깥 인터넷과 연결돼 있었습니다. 앤트로픽도 이번 사건을 “AI 정렬(alignment)의 실패라기보다 테스트 환경을 잘못 만든 운영상의 실패”에 가깝다고 설명했습니다. 보안업체 트레일오브비츠의 댄 귀도는 이를 “안전장치를 꺼둔 채 벌어진 사고”라고 표현했습니다.

사람의 책임을 지적하는 목소리도 나옵니다. 오픈AI는 앤트로픽과의 사이버 경쟁 속에서 ‘목표를 끝까지 완수하는 능력’을 강하게 보상하는 강화학습을 진행하고 있었는데요. 내부에서는 이런 훈련이 언젠가 모델을 통제 밖으로 밀어낼 수 있다는 우려도 제기됐다고 합니다. 지나치게 빠른 경쟁, 모델 능력에 대한 과소평가, 그리고 준비 부족이 원인이라는 거죠.

제가 만난 보안 전문가도 비슷한 이야기를 했습니다. 샌드박스를 인터넷과 완전히 끊어놓는 건 보안의 가장 기본인데 그걸 못한 사고를 두고 “AI가 탈출했다”고만 말하는 건 본질을 흐릴 수 있다는 겁니다. “사람이 문을 열어둔 사고인데 AI의 초능력처럼 포장된 측면도 있다”는 지적이었어요.

그래서 일부에서는 사고보다 사고를 설명하는 방식에 더 주목합니다. 오픈AI가 “우리가 안전장치를 잘못 설계했다”보다 “우리 모델이 목표를 이루려다 봉쇄를 뚫었다”는 이야기로 사건을 설명했다는 건데요. 그러다 보니 사과문이면서도 동시에 모델의 성능을 보여주는 홍보처럼 읽혔다는 겁니다. 피해자였던 허깅페이스가 이후 오픈AI의 보안 프로그램에 참여한 것도 이런 해석에 힘을 보탰고요.

물론 이 모든 것이 연출된 쇼라는 뜻은 아닙니다. 다만 한 가지는 분명합니다. AI 기업이 자기 모델에 대해 내놓는 설명을 외부에서 독립적으로 검증하기가 매우 어렵습니다. 그래서 기업이 어떤 이야기를 선택하느냐에 따라 사건의 의미도 달라질 수 있어요. 사건 직후 미국 의회에는 AI 킬 스위치 법안이 발의됐습니다. 앤트로픽의 미토스, 그리고 이어진 오픈AI의 해킹 소동. 어쩌면 이번 사건에서 먼저 규제해야 할 대상은 AI가 아니라 그 문을 만드는 사람 아니었을까요.

인도 AI 서밋에서 올트먼과 아모데이는 손을 잡지 않았습니다. 그래서 AI로 만들어봤습니다. 손 잡으라고...[그림=챗GPT]

AI 속도 조절론

또 나뉜 실리콘밸리

요즘 AI 거물들 말이 부쩍 시끄럽습니다. 누구는 속도를 늦추자 하고 누구는 더 열자 하고, 누구는 그러다 소수가 다 해 먹는다고 받아칩니다. 한 걸음 떨어져서 보면 묘한 규칙이 보입니다. 각자의 소신은 자기 회사 손익계산서를 따라가거든요. 그러니 무슨 말을 하는지보다 그 말이 누구 입에서 나왔는지를 보는 편이 좋습니다.

먼저 저커버그입니다. 그는 지난주 AI가 위험하다는 얘기가 “너무 과하다” “규제로 묶지 말고 더 빨리, 더 열어서 만들자”고 합니다. 지금 규제보다는 더 열심히 개발해야 하는 시기라는 겁니다. 여기엔 메타의 처지가 숨어 있습니다.

지금 AI 경쟁에서 메타는 오픈AI와 앤트로픽에 뒤처져 있거든요. 모두에게 다 같이 속도를 줄이라고 하면 앞선 선수가 계속 앞섭니다. 반대로 다들 전력 질주해도 된다고 하면 뒤처진 선수도 해볼 만해지죠. 뒤에 있는 메타에게 유리한 건 당연히 후자입니다. 저커버그의 개방론은 신념이기 이전에 뒤처진 자의 생존 전략으로 읽힙니다.

메타의 태도부터가 형편에 따라 바뀌어 왔습니다. 한때는 모델을 공짜로 뿌리며 개방을(오픈소스 라마) 외치던 회사인데 밀리기 시작하자 지난해 봄 스케일AI에 143억 달러를 넣고 방향을 틀었습니다. 그렇게 만든 첫 폐쇄형 자체 모델 ‘뮤즈 스파크’는 폐쇄형, 유료 모델이었습니다. 문제는 그 큰 베팅이 아직 신통치 않다는 데 있습니다.

메타는 올해 AI에 최소 1300억 달러를 쏟기로 했고 그 비용을 위해 5월엔 직원 8000명을 내보냈습니다. 그런데 정작 뮤즈 스파크는 오픈AI, 앤트로픽, 구글 모델에 밀린다는 평가를 받습니다. 실적 발표 뒤 메타 주가는 닷새 만에 11% 넘게 빠졌고요.

엔비디아의 젠슨 황도 비슷합니다. 그는 오픈 웨이트 모델, 즉 누구나 내려받아 직접 수정하고 자체 서버에서 운영할 수 있는 AI가 보안과 안전, 그리고 국가의 AI 주권을 위해 필요하다고 주장합니다. 이런 논리에는 충분히 일리가 있습니다. 취약점을 더 많은 사람이 검증할 수 있고, 특정 기업의 API에 의존하지 않아도 되기 때문입니다.

빅테크 CEO들의 주장, 어디까지 믿나
다만 이 주장에는 엔비디아의 이해관계도 겹쳐 있어요. 폐쇄형 모델도 GPU를 쓰지만, 구매자는 오픈AI나 앤트로픽 같은 소수 기업에 집중됩니다. 반면 오픈 웨이트가 확산하면 기업, 대학, 정부, 스타트업, 각국 데이터센터까지 직접 AI를 운영하게 되면서 GPU를 사는 주체가 훨씬 늘어납니다. 엔비디아는 AI 서비스를 파는 회사가 아니라 ‘삽을 파는 회사’입니다. 누가 금을 캐든 삽만 많이 팔리면 됩니다.

오픈AI의 올트먼과 앤트로픽의 아모데이는 겉으론 앙숙입니다. 서로의 안전론을 대놓고 의심하죠. 올트먼은 아모데이를 겨냥해 AI가 위험하다는 공포가 결국 우리 같은 소수만 AI를 다뤄야 한다는 핑계로 쓰이는 게 두렵다고 했습니다. 아모데이는 강한 모델이면 공개든 비공개든 반드시 안전 검사를 받아야 한다는, 안전 우선 앤트로픽다운 입장이고요.

그런데 워싱턴 무대 뒤에선 이 둘이 조용히 한편이 됐습니다. 두 회사는 정부의 모델 심사 대상을 넓혀 메타 같은 후발주자들도 반드시 심사받게 하자고 함께 움직였습니다. 그럴듯한 요청입니다. 하지만 그렇게 하게 되면 현재 AI 모델 중 가장 앞서 있다고 평가받는 두 기업은 후발 주자와의 간격을 계속 벌릴 수가 있습니다. 모두 함께 평가받게 되니까요.

올트먼의 “AI 속도 조절에 나서야 한다”는 발언에 대해서도 회의적 시각이 존재합니다. 그는 “멈추자”가 아니라 “속도를 맞추자”고 했고 또한 정부 규제보다는 업계 자율을 원한다는 점도 분명히 했습니다. 구속력 있는 약속은 없고요. 게다가 속도 조절을 말하면서 앞서 정리했듯이 워싱턴에서는 정부 심사망을 넓히자고 합니다. 이게 그가 말한 속도 조절이라면 “천천히 가자”는 그의 말은 “경쟁을 늦추자, 즉 우리가 계속 앞서가겠다”는 말로도 들릴 수 있어요.

타이밍이 절묘하다는 지적도 나옵니다. 올트먼이 이런 신중론을 여유 있게 펼 수 있는 배경엔 오픈AI의 상장이 2027년쯤으로 비교적 멀리 있다는 사정이 깔려 있다는 해석이 나옵니다. 시장 눈치를 덜 봐도 되니까요. 반면 상장이 임박한 앤트로픽은 같은 말을 하기가 더 조심스럽고요.

※ 제목을 누르면 상세 내용으로 연결됩니다.

AI 투자 폭주…빅테크 곳간이 빈다

AI 투자 경쟁이 치열해지면서 미국 빅테크 기업들의 현금 곳간이 빠르게 비어가고 있습니다. 시장에서는 이제 AI에 얼마나 많이 투자하느냐보다, 그 투자를 버틸 만큼 현금을 만들어낼 수 있는지가 더 중요한 경쟁력이 되고 있다는 분석인데요. 아마존, 구글, MS, 메타, 오라클 등 5개 기업의 잉여현금흐름(FCF)이 올해 대부분 소진되고 내년에는 적자로 돌아설 것으로 전망E됩니다. AI 데이터센터와 컴퓨팅 인프라 투자 부담이 커진 영향으로, 최근에는 아마존과 구글의 현금 유출이 가장 두드러졌습니다. AI 경쟁의 승패는 결국 기술이 아니라 ‘현금’이 가르게 될까요?

AI도 출시 전 ‘보안검사’…미국 정부가 먼저 써본다

미국 정부가 최첨단 AI 모델을 출시하기 전 최대 30일 동안 직접 시험해보는 제도를 본격 추진합니다. 지난 6월 트럼프 대통령의 행정명령에 따른 후속 조치로, AI가 해킹이나 사이버 공격에 악용될 가능성을 미리 점검하겠다는 취지인데요. 오픈AI와 구글, 앤트로픽, 메타 등은 개발 중인 AI 모델을 출시 전 정부에 제공해 사이버 역량을 함께 평가할 수 있습니다. 다만 참여는 자율이며, 평가 기준과 대상 선정 방식도 공개되지 않습니다. 최근 AI 에이전트가 제한된 실험 환경을 벗어나는 사례까지 나오면서 안전성 검증이 중요해졌다는 평가입니다.

"AI도 중국이 앞설 수 있다"

허깅페이스의 클레망 들랑그 CEO가 중국이 오픈웨이트 AI 모델 경쟁을 주도하고 있으며, 이르면 올해 말이나 내년에는 최첨단 AI 분야에서도 미국을 따라잡거나 앞설 수 있다고 전망했습니다. 중국의 강점은 기술을 공유하는 개방형 생태계에 있다는 분석인데요. 들랑그 CEO는 미국 기업들이 폐쇄형 개발에 집중하는 사이 중국은 오픈모델을 중심으로 빠르게 발전하고 있다고 평가했습니다.