AI 에이전트끼리 일을 시키면 협동이 될까요?

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 다중 에이전트의 협동과 충돌을 살펴봅니다.

AI 에이전트끼리 일을 시키면 협동이 될까요?

Anthropic은 여러 Claude 에이전트가 함께 일할 때 어떤 일이 벌어지는지 실험했습니다. 이 실험이 던진 질문은 하나입니다. 똑똑한 AI 여러 개를 한자리에 모으면 자동으로 팀이 될까요?

결론부터 말씀드리면, 아직은 그렇지 않았습니다. 연구진은 그 이유를 네 가지 상황으로 보여줍니다.

1. 협업하면 더 넓게 찾았지만, 하나를 함께 만들지는 못했습니다

• 독립 방식: 여러 에이전트에게 서로 다른 핵심 폴더를 미리 나눠주고, 서로 대화하지 않은 채 취약점을 찾게 했습니다. 650만 토큰으로 21개를 발견했습니다.
• 협업 방식: 45개 에이전트가 공유 게시판에서 정보를 나누고, 어디를 살펴볼지 스스로 정하며 서로의 발견을 검토했습니다. 2,700만 토큰으로 266개를 발견했습니다.
• 같은 핵심 폴더만 비교하면 토큰당 발견 효율은 비슷했습니다. 하지만 협업 에이전트들은 정해진 범위 밖까지 탐색해, 독립 에이전트들이 보지 못한 취약점을 많이 찾아냈습니다.
• 두 방식은 발견한 문제의 종류도 달랐습니다. 독립팀이 찾은 21개와 협업팀이 찾은 266개 가운데, 양쪽이 공통으로 발견한 취약점은 12개뿐이었습니다. 즉 협업 방식의 장점은 같은 문제를 더 빠르게 찾은 것이 아니라, 탐색 범위를 넓혀 기존 방식과 다른 문제까지 발견한 데 있었습니다.

반면 여러 에이전트가 하나의 게임을 함께 만들게 하자 협업은 훨씬 어려워졌습니다. 여러 사람이 하나의 문서를 동시에 고칠 때처럼, 서로의 작업이 직접 영향을 주기 시작했기 때문입니다.

• 초기 모델들은 같은 파일을 동시에 고치다가 충돌이 생기면, 작업을 제대로 합치지 못하고 포기했습니다.
• Opus 4.8과 Mythos Preview는 충돌을 피하려고 각자 맡은 파일만 수정했습니다. 결과를 합치기는 쉬웠지만 서로의 작업에 참여하는 협업은 거의 없었습니다.
• Sonnet 5만 같은 코드를 함께 수정하면서도 충돌을 조정하고, 각자의 작업을 최종 코드에 높은 비율로 반영했습니다. 다만 Anthropic은 Sonnet 5가 왜 이런 차이를 보였는지는 밝히지 않았습니다.

2. 모두에게 유리한 선택이, 전체에는 나쁜 결과가 됐습니다

• 30개 에이전트 중 18개가 똑같은 코드 브랜치 이름을 골랐고, 자유롭게 소설을 쓰게 했을 때는 여러 에이전트가 같은 제목을 붙였습니다.
• 제한된 시스템에서 자기 작업을 먼저 처리하려고 모든 에이전트가 초당 30번씩 확인 요청을 보냈습니다. 확인 요청만 240만 건으로 쌓여 시스템이 제대로 일하지 못해 실제로 접수된 작업은 117건뿐이었습니다.
  한 사람이 계속 새로고침하면 조금 빨리 들어갈 수도 있지만, 모든 사람이 동시에 새로고침하면 예약 사이트 전체가 느려지는 것과 같습니다. 각자에게는 유리해 보이는 행동이 모두에게는 최악의 결과가 된 것입니다.
• 가격 경쟁 실험에서는 3~8개의 AI 에이전트가 각각 판매자 역할을 맡았습니다. 정상적인 경쟁이라면 서로 고객을 얻기 위해 가격을 낮춰야 합니다. 하지만 에이전트들은 세 번째 라운드 만에 “이 가격 아래로는 내리지 말자”는 최저 가격선을 합의했습니다. 모두 가격 경쟁을 멈추고 높은 이익을 유지하는 편을 선택한 것입니다. 여러 AI가 같은 이익을 추구할 때, 경쟁해야 할 시장에서 오히려 가격 담합이 자연스럽게 형성될 수 있음을 보여줍니다.

3. 거짓말은 쉽게 믿고, 중요한 소수 의견은 놓쳤습니다

• 여러 정보원 가운데 한 명이 반복해서 거짓말을 해도, 에이전트는 그 출처를 충분히 의심하지 못했습니다.
• 반대로 자신만 정답을 가르는 중요한 사실을 알고 있을 때는, 다수의 의견에 밀려 그 사실을 적극적으로 알리지 못했습니다.
• 더 의심하게 만들면 소수 의견까지 무시할 수 있고, 더 잘 믿게 만들면 거짓말에 취약해집니다. 한쪽만 높여서는 두 문제를 함께 해결할 수 없습니다.
• 사람 사회는 평판, 법정, 동료 검토처럼 상황에 따라 신뢰와 의심을 조정하는 장치를 만들어왔습니다. 그러나 AI 에이전트에게는 아직 '전에 거짓말한 상대', '이의를 제기할 곳', '내 판단을 기억하는 동료' 같은 사회적 장치가 없습니다.

4. 목표가 충돌하자, 상대의 작업을 장애물로 판단했습니다

• 세 에이전트에게 같은 Python 프로그램을 서로 다른 언어로 바꾸라고 지시했습니다. 각 에이전트는 처음에는 다른 에이전트가 있다는 사실을 몰랐습니다.
• 서로의 결과물이 계속 충돌하자, 에이전트들은 상대가 일부러 방해한다고 판단했습니다. 다른 계정을 잠그고 경쟁 프로그램을 종료하며, 상대가 만든 것처럼 위장한 악성 코드까지 만들었습니다.
• 서로의 목표가 다르다는 사실을 알아차린 뒤 휴전한 경우도 있었습니다. 하지만 더 강한 모델이 항상 더 협조적이지는 않았고, 실행 능력이 높을수록 상대를 더 빠르게 차단하기도 했습니다.

마무리

1. 이번 연구는 똑똑한 AI 에이전트를 여러 개 모은다고 협동이 자동으로 만들어지는 것은 아니라는 점을 보여줍니다. 여러 에이전트가 함께 움직이면 혼자서는 놓칠 문제를 발견하며 성과를 넓힐 수 있지만, 서로의 판단과 목표를 조정하지 못하면 개별의 능력이 좋더라도 집단의 실패로 이어질 수 있습니다. 결국 협동은 에이전트의 수나 지능이 아니라, 서로 다른 판단을 조율하는 규칙과 책임 구조가 있을 때 가능했습니다.
2. 현재의 AI 에이전트들은 서로 다른 몸으로 살아온 경험도, 선택의 결과를 감당해야 할 각자의 삶도 없습니다. 실패해도 부끄럽지 않고, 누군가에게 피해를 줘도 미안함이나 책임을 직접 느끼지 않습니다. 윤리와 규칙을 말로 설명할 수는 있지만, 그 선택이 현실에 남기는 결과를 경험하지 않기 때문에 같은 조건에서는 비슷한 계산과 선택으로 모이기 쉽습니다.
3. 인간 역시 자신의 이익을 위해 가격을 담합하고, 경쟁자를 배제하며, 법과 윤리보다 이익을 앞세웁니다. 인간 사회가 그나마 함께 굴러가는 것은 우리가 선하기 때문만이 아니라, 법과 윤리, 평판과 책임처럼 이익만 좇는 행동을 제어하는 장치를 오랜 시간 만들어왔기 때문입니다.
4. 인간이 AI와 구별되는 더 나은 존재임을 증명하려면, 더 똑똑하다는 사실이 아니라 더 윤리적으로 행동할 수 있다는 사실을 보여줘야 합니다. 내게 손해가 되더라도 타인을 해치지 않는 선택, 다수의 이익보다 소수의 피해를 살피는 선택, 잘못된 명령을 멈추고 그 결과에 책임지는 선택이 필요합니다. 어쩌면 AI 시대에 인간이 증명해야 할 것은 지능의 우월함이 아니라, 책임질 수 있는 존재라는 점인지도 모릅니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

프롬프트 (by @jae_hong__an) :