기업에서 AI 도입 시 실수하는 것들이 있습니다

클로드에서 엄청난 모델을 출시하고 바로 또 제한을 걸었습니다. 클로드 페이블 5입니다. 뭐 지금은 사용은 못 하지만 미국에서 스트라이프라는 회사가 미리 써 봤는데 한국으로 치면 토스 같은 결제 회사거든요. 보통 IT 팀이 전체 5개월을 매달려야 할 시스템 교체 작업을 AI 혼자서 며칠 만에 끝냈습니다.

차랑 한 팀이 두 달 매달려야 할 코드 정리도 하루 만에 끝내 버렸어요. 안녕하세요. 퇴근길의 AI 망구입니다. 페이블 5가 바이럴인 거는 리토스 모델의 안전 버전이기 때문입니다. 리토스는 너무 강력하고 위험해서 일반에 풀 수 없는 모델이었어요. 그래서 미국 국가 안보국이 사이버 공격 작전을 쓰는 모델이다라고 얘기가 나올 정도로 성능이 높았습니다.

그래서 사실상 현재 IT에 있는 정보 보안을 다 해킹할 수 있다더라라는 발언이 화제가 되기도 했었죠. 그런데 여러분들 잘 아시겠지만 지금 출시 일주일 만에 누군가 그 안전 가드레일을 뚫어버렸습니다. 미국 정부, 미국 상무부가 앤트로픽에게 해외 사용 금지 명령을 내렸어요. 페이블 5를 쓸 수가 없습니다. 저도 페이블 5를 여러 가지 실험을 해 보려고 했는데 아쉬울 따름입니다. 근데 여러분도 느끼시겠지만 이 모델의 출시 주기가 점점 짧아지고 있습니다.

오퍼스 4.7에서 4.8이 약 45일 정도 뒤에 출시가 됐었고 페이블 5는 오퍼스 4.8이 출시된 지 2주 만에 세상에 나왔어요. 아, 이 정도면 정말 어질어질할 정도의 발전이에요. 그래서 이럴 때마다 저한테 자주 질문하시는게 있는데 새 모델도 나왔는데 우리는 뭐 써야 해요? >> 당연히 최신 모델을 사용하는게 좋겠죠? >> 무조건 좋은 거 쓰면 되나요? >> 이런 질문들이 많습니다.

오늘은 이 주제에 대해서 얘기를 해 보도록 하겠습니다. 먼저 결론부터 말씀드리겠습니다. 좋은 모델 쓰는 건 답이 아닙니다. 왜요? 비싸기 때문이에요. 그만큼 비용이 나갔는데 ROI를 따라갈 수가 없습니다. 개인으로 쓸 때는 구독 모델로 비용이 감당되지만 엔터프라이즈 단으로 가게 되면 사용량에 따라서 측정되기 때문에 정말 감당이 안 되는 비용입니다.

어떻게 이해하면 되는지 제가 쉽게 풀어 볼게요. AI 모델을 회사 직원이라고 생각해 봅시다. 진짜 요즘 저는 직원처럼 부려먹고 있는데 하여튼 방금 말씀드린 클로드 페이블 5는 연봉 5억을 받는 슈퍼 시니어 엔지니어라고 생각하시면 됩니다. 한 팀이 5개월 매달려야 할 일을 며칠 만에 끝내는 그런 미친 사람인 거죠. 지금 최근까지 최상위 모델이었던 오퍼스 같은 친구는요.

연봉 1억이 넘는 시니어 개발자, 어려운 테스크나 복잡한 추론, 큰 의사 결정까지 처리하는 사람이라 생각하시면 되겠고요. 중간 모델인 소넷은 연봉 5,000에서 1억 사이에 미드시니어 작은 모델인 하이쿠 같은 친구들은 연봉 3,000 주니어 단순 분류나 정리 추출을 빠르게 많은 양을 처리하는데 강하다고 보시면 됩니다. 자, 그러면 이런 생각을 해 보시면 돼요.

연봉 5억짜리 직원에게 엑셀 정리 단순 데이터 분류 시키면 어떻게 될까요? 당연히 돈만 나가고 이 사람이 하는 일에 비해서 생산성이나 비즈니스 임팩트가 안 나오니까 아쉽겠죠. 그 사람의 시간과 능력을 다 못 쓰는 거잖아요. 그래서 우리가 AI 모델을 똑같이 하게 되면 지금 연봉 높은 사람에게 단순 업무를 시키고 있다라고 생각하시면 되겠습니다.

그래서 각 조직에서는 클로드 코드는 AI 모델을 도입할 때 두 가지를 꼭 신경 써야 되는데 첫째 각 모델이 어디까지 할 수 있는지 감을 잡으셔야 됩니다. 이건 머리로만 알 수 없고요. 직접 써보면서 테스트를 해 보셔야 돼요. 페이블 5는 이 정도. 오퍼스는 이 정도. 소넷은 이 정도. 하이쿠는 이 정도. 그 감이 있어야 다음 단계로 가요.

둘째는 내부에서 하고 있는 테스크를 모델별로 매핑을 해 보는 겁니다. 예를 들어서 회의록 정리나 메일 분류, 단순 이메일 초안 작성하는 건 하이쿠로도 충분하겠죠. 보고서 작성이나 데이터 분석, 일반 의사 결정 정도는 소넷이고, 전략 수립이나 복잡한 추론 그리고 이런 건 오퍼스, 진짜 어려운 코딩 작업이나 대규모 시스템의 마이그레이션은 페이블 5를 써 보는 겁니다.

이렇게 테스크별로 모델을 맵핑을 안 해 두면 결국 모든 일에 가장 비싼 모델을 쓰게 되고 비용은 비용대로 나가고 효율은 효율대로 떨어집니다. 그런데 솔직히 말씀드리면 이 맵핑하는게 쉽지 않습니다. 저희가 교육을 가 보면요. 하루 만에 토큰 비용 100달러 써 버렸다는 사람들도 있어요. 진짜요? 교육이니까 이때다 싶어서 막 써 보는데 결과를 보면은 깜짝 놀라죠. 그래서 실제적으로 이 값어치를 했냐라고 봤을 때는 솔직히 측정하기가 어렵기 때문에 ROI를 내기가 쉽지 않은 거 같습니다.

근데 어려워도 저희는 해야 됩니다. 토큰 비용이 점점 싸지고 있다고는 하지만 어 아직까지는 우리가 감당하는 수준에서 점검을 해야 돼요. 측정이랑 매핑 어떤 테스크에 어떤 모델을 쓰고 있는지 그게 얼마나 시간을 줄여줬고 비용 대비 어떤 결과를 만들었는지 이런 고민을 하셔야 됩니다. 고민 없이 그냥 막 쓰게 되면 막 돈 태우는 겁니다. 새 모델이 나올 때마다 그냥 최상급 써 버리면 청구서를 받고 깜짝 놀라는 거죠.

마침 며칠 전에 마이크로소프트 CEO 사티아 나델라가 AI 시대 회사는 두 가지 자본을 만들어야 한다. 하나는 인적 자본, 사람의 지식, 판단, 관계, 창의성 같은 거예요. 우리가 익히 알고 있었던 개념이죠. 또 하나는 토큰 자본. 회사가 만들고 소유하는 AI 능력입니다. 이게 새로운 개념인데 사티아 나델라가 좀 흥미로운 말을 했던 거는요. 토큰 자본이 커진다고 인적 자본의 가치가 떨어지는게 아니라 오히려 더 가치가 있어진다.

왜냐면 사람이 방향을 잡아 줘야 AI가 진짜 일을 하기 때문이에요. 사람이 없으면 AI는 그냥 빙빙 도는 컴퓨팅이라는 겁니다. 그러니까 진짜 기회는 최고 모델을 고르는게 아니라 사람과 AI가 함께 성장하는 학습 루프를 만드는 것이 진짜 중요해 보입니다. 핵심은 테스크나 직무를 위임할 수 있어도 학습은 위임할 수 없다. 우리 회사가 어떤 일을 어떻게 하는지 어떤 판단을 내리는지 이 노하우가 학습 루프 안에서 회사의 진짜 자산이 되는 거다라고 말을 했어요.

모델은 바꿀 수 있지만 그 안에 쌓인 회사 베테랑의 전문성은 우리 회사가 가지고 있는 자산 그리고 IP가 되어야 된다고 말을 했습니다. 자, 오늘 정리해 볼게요. 새 AI 모델 진짜 자주 나옵니다. 페이블 5 너무 좋죠. 근데 이제 사티아 나델라가 말한 것처럼 최고를 고르는게 진짜 무기가 아니라 우리 회사 안에 학습 루프를 쌓이게 만드는게 진짜 무기라고 생각 됩니다. 오늘 얘기한 걸 정리하면은 두 가지입니다.

첫째, 좋은 모델은 연봉 1억이 넘는 시니어라고 생각하세요. 어려운 테스크에만 쓰는 거고 페이롤 정리, 메일 분류 같은 단순 업무는 연봉 3천만 원을 받는 주니어에게 작은 모델로 시키는 겁니다. 둘째, 그리고 그렇게 쌓인 노하우는 우리 회사 학습 루프로 만드는 겁니다. 그게 결국 사티아 나델라가 말한 토큰 자본이죠. 그게 우리 회사의 새 IP가 될 거고요.

여러분의 회사는 어떤 모델을 어떤 테스크에 쓰고 계시나요? 또 그 노하우가 회사 안에 학습으로 쌓이고 있나요? 댓글로 한 줄 남겨 주세요. 여러분들의 고민과 생각이 저에게는 재밌는 콘텐츠로 만들어지게 됩니다. 구독, 좋아요, 알람 설정도 부탁드리고요. 오늘도 고생하셨습니다. 퇴근길의 AI 망구였습니다.