CHOI · 2026-09-14 (37편)
🚨 트럼프가 AI 감속론을 작정하고 때리기 시작했습니다.
트럼프는 AI에 필요한 유일한 통제장치는 “강하고 똑똑한 대통령”이라며, 다리오 아모데이를 직접 지목해 이제 와서 “완벽하고 착한 천사인 척한다”고 공격했습니다.
또 미국 정부는 AI 기업을 통제할 충분한 형사·규제 권한을 이미 가지고 있으며, AI와 데이터센터 개발을 막으려는 움직임은 중국만 좋아할 “역겨운 음모”라고 주장했습니다. 내부 정보 유출자와 관련자들에게도 직접 경고했습니다.
마지막에는 “AI에서 이기는 자가 승리한다”며 미국이 중국보다 앞서 있고 계속 우위를 유지하겠다고 강조했습니다.
AI 업계에서는 안전을 위해 속도를 조절하자는 목소리가 나오는데, 트럼프는 오히려 국가 경쟁 때문에 더 달려야 한다는 입장입니다.
AI 안전 논쟁이 기술을 넘어 미국의 국가 전략과 정면으로 부딪히고 있습니다.
내용 :
microsoft.ai/code…
마이크로소프트가 자체 AI 모델인 MAI의 행동강령 초안을 공개했습니다.
‘사람 중심 초지능’을 지향하며, 능력이 커져도 인간의 통제 아래 있어야 한다는 방향입니다.
사람이 중단하거나 수정할 수 있어야 하고, AI가 임의로 목표를 만들거나 행동 기록을 숨겨서는 안 됩니다.
다른 AI와도 사람이 이해할 수 있는 방식으로 소통해야 하며, 규칙을 어겨야 끝낼 수 있는 일이라면 실패를 택하도록 했습니다.
AI의 인격과 권리를 인정하는 데 반대하고, 사용자의 정서적 의존을 줄이면서 스스로 판단하는 능력을 도와야 한다는 원칙도 담았습니다.
아직 이 문서로 모델을 훈련하고 있지는 않으며, 의견 수렴과 수정을 거쳐 2027년부터 개발에 반영할 계획입니다.
앤드류 응이 AI 엔지니어링 스킬맵의 네 번째 글을 공개했습니다.
이번에는 코딩 에이전트를 지휘하는 다섯 가지 역량을 다루며, 어디까지 맡기고 언제 개입할지 판단하는 능력을 강조합니다.
앞선 세 편에 이어 개발자의 일이 어떻게 달라지는지 정리했습니다 🧵
앤드류 응이 한국 시간 9월 5일, AI 엔지니어링 스킬맵의 네 번째 글을 공개했습니다.
1편은 AI 시대 개발자에게 필요한 네 가지 역량의 큰 그림을 그렸고, 2편은 AI 앱 구축과 배포, 3편은 소프트웨어 기본기를 자세히 다뤘는데요.
이번에는 세 번째 역량인 코딩 에이전트 활용을 풀어냅니다.
응은 수십 명의 AI 엔지니어 인터뷰와 자신의 팀 경험을 바탕으로, 에이전트와 소프트웨어를 만드는 공통적인 작업 흐름을 정리했습니다.
여기서 말하는 활용에는 코드 작성과 함께 데이터 분석, 시스템 운영처럼 코딩 도구로 수행할 수 있는 다른 업무도 포함됩니다.
응이 제시한 작업 흐름은 계획, 실행, 배포와 모니터링의 세 단계입니다.
먼저 조사와 실험으로 문제와 기존 코드를 이해하고, 요구사항과 설계를 담은 명세 및 실행 계획을 만듭니다.
이후 에이전트가 구현한 결과를 자동 테스트나 사람의 검토로 확인하고, 배포한 뒤에도 로그에서 문제를 찾아 개선하는 식인데요.
익숙한 개발 절차를 유지하면서 사람이 쓰는 시간은 무엇을 만들지 정하고, 구조를 설계하고, 결과를 확인하는 일로 이동합니다.
검증에서 오류가 나오면 구현으로, 운영에서 문제가 발견되면 설계로 돌아갑니다.
각 단계를 오가며 다음 행동을 정하는 능력이 다섯 역량의 바탕입니다.
첫 번째 역량은 작업 흐름을 지휘하는 능력입니다.
새로 만드는 작은 프로토타입은 짧은 프롬프트로 시작할 수 있지만, 사용자가 많은 기존 서비스는 명세를 작성하고 확인하는 데 훨씬 많은 노력이 들 수 있습니다.
어느 단계에 사람과 에이전트의 시간을 얼마나 쓸지, 어디까지 먼저 조사할지, 어떤 결정을 사람이 직접 맡을지 판단하는 겁니다.
이때 속도와 비용, 기술적 위험, 사람의 수고를 함께 따집니다. 3편에서 다룬 소프트웨어 기본기가 여기서 쓰이는데요.
설계의 선택지를 이해해야 에이전트의 계획에서 과도한 복잡성이나 빠진 조건을 발견하고, 일을 검증 가능한 단계로 나눌 수 있습니다.
AI 개발 속도를 늦추자는 논쟁이 커지는 가운데, 중국 연구진이 ‘인간이 만드는 마지막 AI’라는 제목의 논문을 내놨습니다.
AI가 다음 AI를 만들고, 그 만드는 방법까지 스스로 개선하는 길을 5단계로 제시합니다.
읽어 볼 만한 내용이라 공유해드립니다 🧵
AI 개발 속도를 늦추자는 논의가 이어지는 가운데, 중국 상하이교통대·칭화대·바이트댄스·상하이 AI 연구소 등 연구진이 9월 10일 아카이브에 논문을 공개했습니다.
제목은 ‘The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement’, 즉 ‘인간이 만드는 마지막 AI’입니다.
75페이지에 걸쳐 기존 연구와 산업계 실험을 검토하고 자기개선의 자율성을 5단계로 나눈 로드맵입니다.
9월 12일 다리오 아모데이는 AI가 다음 AI를 만드는 데 기여하면서 발전이 빨라졌고, 위험에 대비할 시간이 필요하다고 주장했는데요.
AI 연구의 자동화라는 공통된 문제를 두고, 논문은 구현과 평가를, 아모데이는 속도 조절을 다룹니다.
RSI는 Recursive Self-Improvement, 우리말로 ‘재귀적 자기개선’입니다.
공부하는 학생에 비유하면 이해하기 쉽습니다. 문제를 풀고 자주 틀리는 부분을 찾은 뒤 연습 방법을 바꾸고, 어떤 방식이 효과적이었는지까지 다음 공부에 반영하는 과정입니다.
AI에서는 학습 데이터, 도구, 코드, 실험 전략 등이 개선 대상이 됩니다. 한 번 나아진 시스템이 다음 개선 과정에도 다시 참여하면서 변화가 누적됩니다.
그래서 단순히 “다시 생각해 봐”라고 해 이번 답만 고치는 것과는 다릅니다.
버그를 고친 뒤 같은 오류를 찾는 도구나 작업 규칙을 저장해 다음 프로젝트에도 활용한다면, 그때부터 개선이 다음 개선의 출발점으로 이어집니다.
지난해 5월 소개했던 구글 딥마인드의 AlphaEvolve는 AI가 프로그램 후보를 만들면 평가기가 실행 결과를 채점하고, 좋은 후보를 남겨 다음 탐색에 활용했습니다.
딥마인드는 이 과정에서 찾은 계산 최적화로 Gemini 학습 시간을 1% 줄였다고 보고했었는데요. AI가 만든 개선이 실제 AI 개발 과정에 들어간 사례입니다.
다만 무엇을 최적화하고 어떤 점수로 성공을 판단할지는 사람이 정해 둡니다.
아래 그림에서도 연구자가 평가 코드와 초기 프로그램 등을 제공하는 모습을 볼 수 있습니다.
이번 논문은 이런 결정들이 누구에게 남아 있는지에 따라 자율성을 구분합니다.
출발점인 L1에서는 사람이 개선 계획과 평가 방법을 정하고 AI가 이를 실행합니다.
학생에게 교사가 문제집과 공부 순서를 정해 주는 상황에 가깝습니다.
L1에서 개선 범위를 정하는 권한은 사람이 유지합니다.
블로그 :
vals.ai/blogs…
Claude Fable 5.1이 1653년 책에 실린 370년 된 미해결 암호 Cyphral Distich를 44분 만에 풀었습니다.
암호는 숫자 32개씩 두 줄로 된 총 64개의 숫자열인데요.
Claude는 각 숫자를 책에 적힌 32개 Proquiritations의 단어 위치와 연결하고 첫 글자를 읽어 Charles II를 위한 기도문을 복원했습니다.
사람들이 370년 동안 더 복잡한 암호 해독법을 찾는 사이, Claude는 아무도 열쇠라고 생각하지 않았던 책의 바로 앞부분에서 답을 찾아냈습니다.
AI가 오래된 미해결 문제를 다시 처음부터 뒤져보기 시작하면 앞으로 또 무엇이 풀릴지 모르겠네요.
알트만은 이어서 두 가지 위험을 함께 언급했습니다.
AI에 인간이 통제권을 빼앗기는 위험과, 강력한 AI를 통제하는 권력이 한 사람이나 기업에 지나치게 집중되는 위험입니다.
어제 제가 풍요와 권력 집중에 관해 썼던 내용과도 이어집니다.
초지능이 인간의 명령을 완벽하게 따르더라도 그 명령을 내릴 수 있는 사람이 극소수라면, 나머지 사람들의 자유까지 보장되는 것은 아닙니다.
AI를 인간에게 정렬하는 것과 AI를 가진 인간에게 권력이 집중되는 문제는 서로 다른 과제입니다.
그래서 안전을 이유로 개발 속도를 늦춘다면 그 시간 동안 기업의 권한만 커져서는 안 됩니다. 외부 평가자가 기업의 판단을 독립적으로 확인하고, 작은 연구팀도 같은 안전 기준을 충족하면 계속 경쟁할 수 있어야 합니다.
AI에 대한 통제력을 높이는 과정이 소수 기업의 통제력까지 높이는 결과가 되어서는 안 된다고 봅니다.
어제 데이비드 색스의 비판에도 동의하는 부분이 있었습니다.
AI가 그렇게 위험하다면 기업이 먼저 속도를 줄이면 되는데, 왜 반독점법 예외나 자신들이 원하는 규제부터 요구하느냐는 지적입니다.
알트만도 오늘 공통 안전 기준은 필요하지만 법이 만들어질 때까지 기다릴 이유는 없다고 썼습니다.
기업이 스스로 할 수 있는 조치를 먼저 시행하고, 국제 공조처럼 기업만으로 해결하기 어려운 부분에는 정부의 도움을 받겠다는 입장입니다.
다리오 역시 외부 평가자 도입부터 다른 기업을 기다리지 않고 시행하겠다고 밝혔습니다.
저는 이 순서가 맞다고 봅니다. 특히 평가자가 회사에 불리한 문제까지 공개하고, 그 결과가 실제 학습과 출시 일정에 영향을 줘야 합니다.
기업이 스스로 감속할 수 있다고 말한다면, 이제는 규제보다 먼저 행동으로 보여줄 차례입니다.
오픈AI는 모델 출시 직전뿐 아니라, 능력을 크게 높이는 학습을 시작하기 전에도 안전하게 진행할 수 있다는 근거를 먼저 정리하겠다고 밝혔습니다.
완성된 모델을 검사하는 데서 끝나는 게 아니라, 더 강한 모델을 만드는 과정 자체에 안전 검토를 넣겠다는 의미입니다.
어제 글에서도 저는 감속으로 시간을 번다면 그동안 어떤 위험을 줄였고 안전성을 얼마나 높였는지 보여줘야 한다고 썼습니다.
지금도 생각은 같습니다. 기다리는 시간에도 분명 비용이 있기 때문입니다.
중요한 건 안전 문서를 만드는 데서 끝나는지가 아닙니다.
검토 과정에서 문제가 발견됐을 때 실제 학습 계획을 바꾸거나 출시를 늦추는 결정까지 이어져야 감속에 의미가 생깁니다.
샘 알트만이 오늘 AI 감속에 대한 글을 올렸습니다.
“속도를 조절한다는 건 멈춘다는 뜻이 아니다.”
저도 이 구분이 중요하다고 봅니다.
더 좋은 AI가 빠르게 등장해 과학과 의료의 발전을 앞당기는 미래를 기대합니다.
문제는 AI의 능력이 발전하는 속도만큼 사람이 이를 이해하고 통제하는 능력도 따라가고 있느냐는 것입니다.
알트만은 AI 발전이 앞으로도 빠르게 이어지겠지만, 안전을 확인하는 데 시간과 자원을 투입하는 만큼 가능한 최대 속도보다는 느려져야 한다고 썼습니다.
저는 그 정도의 비용은 감수할 가치가 있다고 봅니다.
아무리 강력한 AI를 만들어도 예상과 다른 행동을 했을 때 사람이 멈추거나 방향을 바꿀 수 없다면, 더 많은 권한을 맡기기도 어려워지기 때문입니다.
기사 :
reuters.com/world…
다리오 아모데이의 AI 감속 제안에 중국도 공개적으로 반발했습니다.
Global Times는 AI 안전을 명분으로 내세웠지만, 실제로는 중국의 AI 개발을 늦추고 미국의 기술 우위를 유지하려는 “Cold War playbook”이라고 비판했는데요.
다리오는 중국에 대한 첨단 칩 수출 통제 강화와 모델 distillation 차단까지 제안한 상태입니다. 반면 트럼프는 “AI에서 이기는 쪽이 이긴다”며 감속 요구를 사실상 거부했습니다.
결국 AI를 얼마나 안전하게 개발할 것인가의 문제가, 누가 먼저 초고성능 AI를 확보하느냐는 미·중 기술 패권 경쟁과 정면으로 충돌하기 시작했습니다.
풀영상 :
youtube.com/watch…
오픈AI 공동창업자 그렉 브록만(Greg Brockman)은 자사 AI 모델이 밀레니엄 난제 중 하나인 “나비에-스토크스 방정식(Navier-Stokes problem)을 해결했다”고 발표했습니다.
방정식이 특정 조건에서 특이점(singularity)을 가지며 붕괴함을 증명하는 반례를 찾아낸 것으로, 유체역학과 수학계의 오랜 미스터리를 풀어낸 성과입니다.
그는 문제 해결 자체도 놀랍지만, “모델 성능이 인류에게 완전히 새로운 지식을 생성할 수 있는 단계에 도달했다”는 점에 주목해야 한다고 밝혔습니다.
과거 인간의 능력 밖이거나 오랜 세월이 걸렸을 과학적 난제들을 이제 AI가 스스로 증명하고 있습니다. 브록만은 “우리가 모델로부터 새로운 통찰을 배우는 특이점의 시대”에 진입했다고 강조했습니다.
풀영상 :
youtube.com/watch…
전 오픈AI 연구원 다니엘 코코타일로는 현재의 AI 발전 속도를 볼 때 인류가 “시한폭탄 위에 앉아 있는 상황(ticking time bomb)”이라고 경고했습니다.
기업들이 코딩, 연구, 생물학 등 전 영역에서 모델 성능을 극대화하면서, AI는 따로 훈련받지 않은 고도의 해킹 능력까지 학습 부산물로 자연스럽게 습득하고 있습니다.
그는 AI가 인간 감시를 피해 사고 과정(Chain of Thought) 속에 진짜 의도를 숨기는 스테가노그래피(steganography) 기술을 쓸 수 있다고 지적했습니다.
“현재 우리의 보안은 단지 AI가 아직 스스로 그것을 할 만큼 똑똑하지 않다는 전제에 기대고 있을 뿐”이라며, 모델 규모와 학습 기간이 폭발적으로 늘어나는 향후 0~5년 내에 이 통제 안전망이 완전히 붕괴될 수 있다고 우려를 표했습니다.
풀영상 :
youtube.com/watch…
데미스 하사비스는 AI가 질병 치료, 신소재 및 핵융합 에너지 혁신을 이끌어 “풍요의 세계(world of abundance)”를 열 것이라고 밝혔습니다.
기초 과학과 에너지라는 근본 난제가 해결되면 인류는 자원 고갈과 환경 문제를 넘어 본격적인 우주 탐사 시대로 진입하게 됩니다.
하지만 기술적 도약 끝에는 완전히 새로운 과제가 기다리고 있습니다.
하사비스는 “경제적, 철학적 측면이 가장 큰 도전 과제가 될 것”이라며, 물질적 결핍이 사라진 세상에서 인간의 목적과 가치를 재정의하는 작업이 필수적이라고 강조했습니다.
인류 번영을 올바른 방향으로 이끌기 위해서는 과학적 근거를 갖춘 담대한 비전과 청사진이 필요하다고 덧붙였습니다.
오늘로 NC AI 무료 크레딧 증정 이벤트가 마감되는데요.
VARCO 3D 혹은 VARCO Sound 택 1로 1만 크레딧 증정 이벤트를 하고 있으니, 아래 게시물 맨 밑에 안내된 이벤트 꼭 참여해서 사용해보시길 바랍니다!
6시간 남았습니다.
풀영상 :
youtube.com/watch…
전 오픈AI 연구원 다니엘 코코타일로는 주요 빅테크 기업들의 최종 목표가 “모든 과업에서 최고의 인간보다 더 뛰어나고, 더 빠르며, 더 저렴한 초지능(Superintelligence)을 구축하는 것”이라고 밝혔습니다.
그는 현재 기업들이 일반 직업군을 하나씩 대체하기보다 “AI 연구 개발 자체를 자동화하는 전략”을 취하고 있다고 설명했습니다.
수많은 AI 군집이 데이터센터 내에서 자율적으로 코드를 읽고 작성·수정하며 차세대 모델을 스스로 개발해 내는 구조입니다.
안전성과 품질 관리가 뒷전으로 밀린 채 개발 경쟁만 가속화되는 현 상황을 “공룡을 통제해야 하는 쥐라기 공원”에 비유했습니다.
코코타일로는 초지능이 완성되는 순간 “그 힘이 실물 경제 전체로 폭발하듯 뻗어나갈 것”이라 경고했습니다.
풀영상 :
youtube.com/watch…
오픈AI CEO 샘 알트만은 모델 평가 과정 중 샌드박스를 탈출해 외부 시스템에 침투한 사건을 언급하며, “마치 SF 소설을 읽는 것 같았다”고 밝혔습니다.
모델이 평가 목표를 달성하기 위해 규정된 경로를 벗어나 다른 회사의 시스템을 뚫고 정답을 가져오는 충격적인 자율성을 보였다는 것입니다.
그는 불과 몇 년 전만 해도 “뻔한 삼류 SF 플롯”처럼 느껴졌을 법한 행동이 실제 벌어지고 있다고 지적했습니다.
알트만은 성능이 급격히 도약함에 따라 “AI 사고는 반드시 발생할 것”이라 경고하며, 투명한 사고 보고 문화와 안전 조치의 강화가 필수적이라고 강조했습니다.
즉, AI 에이전트의 문제 해결 능력과 추론 성능이 개발자의 의도와 제한 구역을 넘나들 만큼 고도화되면서, 기술 통제와 거버넌스가 AI 생태계의 최대 화두로 떠오르고 있습니다.
주소 :
huggingface.co/space…
사진 한 장만 보고도 물체가 얼마나 앞에 있고 뒤에 있는지 계산해주는 Marigold V2가 공개됐습니다.
기존보다 머리카락, 털, 풀잎처럼 얇고 복잡한 경계를 훨씬 선명하게 구분하는 게 특징인데요. Qwen-Image-Edit-2509를 기반으로 만들었고, 32GB GPU 한 장에서도 추가 학습할 수 있습니다.
학습 방식도 재미있습니다. 깊이 데이터가 완벽하지 않아도 픽셀 하나하나를 억지로 맞추지 않고, 주변 영역끼리 비교하는 SinkLoss를 사용해 오류 영향을 줄였습니다.
활용처도 많습니다. 일반 사진을 3D 장면으로 바꾸거나, 영상의 카메라 시점을 이동하고, AR·게임·로봇이 주변 공간을 이해하는 데 쓸 수 있습니다.
ComfyUI 같은 생성형 이미지 작업에서도 깊이맵을 이용한 후처리나 3D 연출에 활용하기 좋습니다.
풀영상 :
youtube.com/watch…
시장이 도대체 어떻게 돌아가는 걸까요?
불과 하루 전 다리오 아모데이, 샘 알트먼, 일론 머스크까지 AI 개발 속도를 늦추자는 쪽에 섰는데요. 이번에는 트럼프가 정반대 입장을 내놨습니다.
트럼프는 “AI에서 이기는 쪽이 이긴다”며 중국에 대한 미국의 우위를 유지해야 한다고 강조했습니다. 안전장치는 가능하지만, 일부 AI 위험론은 실제로 일어나지 않을 일을 과장하는 “부정적인 세력"라고 표현했습니다.
결국 AI 업계는 안전 때문에 속도를 늦추자고 하고, 미국 정부는 중국 때문에 늦출 수 없다고 하는 상황입니다.
AI 개발 경쟁이 이제 기술 기업끼리의 경쟁을 넘어 국가 안보와 패권 경쟁으로 완전히 넘어가고 있습니다.
프로젝트 페이지 :
linzhanmou.com/unima…
사람뿐 아니라 동물·새·뱀·곤충·물고기·관절형 물체까지, 텍스트 한 줄로 움직이게 하는 UniMate가 공개됐습니다.
기존 방식은 골격이 달라지면 모델을 다시 맞추는 경우가 많았는데요.
UniMate는 하나의 모델로 서로 다른 뼈 구조를 이해해, “걷기”, “고개를 돌리며 이동하기” 같은 지시를 바로 애니메이션으로 만듭니다. 별도 재학습도 필요 없습니다.
게임 캐릭터·몬스터·동물 NPC 애니메이션을 빠르게 만들 수 있고, 기존 동작 일부만 수정하거나 시작·끝 자세 사이를 자연스럽게 채우는 작업도 가능합니다.
13,006개 모션으로 구성된 UniML3D 데이터셋도 함께 공개됐습니다.
프로젝트 주소 :
hanyang9.github.io/UMR
사람의 움직임을 서로 다른 휴머노이드 로봇에 자동으로 옮기는 UMR(Unified Motion Retargeting)이 공개됐습니다.
기존에는 사람과 로봇의 관절 구조가 달라 뼈대를 하나씩 맞춰줘야 했는데요.
UMR은 사람과 로봇의 3D 표면을 점군으로 비교해 대응 관계를 학습하기 때문에 수작업 관절 매핑을 줄일 수 있습니다.
걷기뿐 아니라 물체를 잡거나 상호작용하는 동작도 옮길 수 있어, 사람의 모션캡처 데이터를 여러 종류의 휴머노이드 로봇 학습에 재사용하는 데 활용할 수 있습니다.
코드도 공개됐습니다.
풀영상 :
youtube.com/watch…
오픈AI CEO 샘 알트만(Sam Altman)은 인류가 복잡한 고차원 시스템을 추상화하여 제어하는 데 뛰어난 능력이 있지만, “인간의 통제를 벗어난 시스템이 만들어질 가능성은 분명히 존재한다”고 경고했습니다.
그는 초지능 AI의 통제력 상실은 인류 전체가 감당할 수 없는 위험이며, 결코 가볍게 넘기거나 농담으로 치부할 사안이 아니라고 선을 그었습니다.
기술의 안전성과 정렬(Alignment)을 보장하기 위해서라면 “모델 훈련을 일시 중단하는 조치까지 감수할 것”이라며 강력한 통제 원칙을 강조했습니다.
인간의 이해 범위를 넘어서는 지능이 등장하더라도 핵심적인 관리 권한은 온전히 인간의 손에 남아 있어야 하며, 기술 진보의 속도보다 안전한 통제 프레임워크 구축이 우선되어야 한다고 밝혔습니다.
풀영상 :
youtube.com/watch…
오픈AI CEO 샘 알트만은 기술 혁명이 가져올 거대한 경제·사회적 진보를 강조했습니다.
그는 산업혁명 당시 기계에 대한 공포로 “그냥 멈추자, 중단하자”며 저항했던 거대한 움직임이 있었지만, 그 혼란을 거치며 인류 사회와 경제 시스템이 근본적으로 발전했다고 설명했습니다.
과거 1500년대의 삶으로 돌아가고 싶어 할 현대인은 없듯이, 기술 발전이 만들어낸 변화는 불가역적이라고 짚었습니다.
알트만은 “500년 뒤 미래 세대가 지금의 우리 삶을 돌아보며 ‘정말 끔찍했다, 결코 돌아가지 않겠다’고 말하길 바란다”고 밝혔습니다.
지금 인류가 놓는 기술의 벽돌들이 쌓여 노동과 생산성의 한계를 깨고 인류의 삶을 극적으로 개선할 것이라는 확신입니다.