AI를 많이 쓰는 직원이 일을 잘한다 | AI 토큰맥싱

이게 사실 토큰 비용보다 더 큰 문제인 거 같아요. 우리의 시간이 사라진다는게 조금 안타까운 거 같습니다. 그니까 이런 여러 가지의 상황들이 잘 해소가 되어야 의미 있게끔 토큰을 사용할 수 있지 않을까 싶습니다. 다만 한 가지는 분명한 거 같아요. 안녕하세요. 퇴근길 AI 망구입니다.

오늘은 요즘 직장에서 다들 한 번씩은 부딪히는 토큰 비용 얘기를 하려고 합니다. 요즘 바이브 코딩, 바이브 디자인 많이 하시죠? 특히 클로드 사용이 인기가 많아지면서 저희도 직접 쓰기도 하고 교육 의뢰도 부쩍 늘었습니다. 그래서 얼마 전에 저희 대기업 임원 교육을 클로드 교육을 한 적이 있는데 한 상무님께서 교육이니까 이때다 싶어서 그런지 막 써 보시는 거였어요.

너무 잘 쓰셨는데 2일 만에 토큰 비용이 100달러 넘게 나와 버렸습니다. 그래서 담당자분이 갑자기 뛰어오셔 가지고 야 이거 다른 차수에도 써야 되는데 비용이 감당이 될까라는 이야기들을 하더라고요. 저도 그렇고 뭐 여러분들도 그렇고 아마 토큰 비용 이대로 괜찮을까요? 자, 토큰 비용하면은 떠오르는 사람이 한 명 있죠.

바로 엔비디아의 젠슨입니다. 얼마 전에 젠슨이 GTC에서 한 발언이 화제였어요. 엔지니어한테 어 베이스 페이를 더해서 연봉의 50% 가치 토큰을 보너스로 주겠다. 즉 연봉이 7억 엔지니어면 3.5억 가치의 토큰을 더 쓰게끔 하겠다라는 거예요. 그래야 AI로 열배 정도 증강할 수 있다라는 젠슨 황의 논리인데 그래서 이런 것들이 비단 뭐 젠슨뿐만 아니라 실리콘밸리에서 전반적으로도 나오고 있습니다.

바로 토큰맥싱이라고 해요. 토큰을 많이 쓰는 사람은 AI를 잘 쓰는 사람이다라는 이런 공식이라고 보시면 될 것 같습니다. 여기서 결정타를 메타가 좀 날렸는데 메타에서는 클로드노믹스라고 하는 내부 리더보드가 있는데요. 앤트로픽 클로드에서 따온 이름이고 직원들 토큰 사용량을 순위를 매겨 가지고 뭐 칭호도 있던데 토큰 레전드니 뭐는 세션 이모탈이니 이런 것들도 있습니다.

한 달 동안 메타에서 사용한 토큰이 약 60.2조 2조 토큰이라고요. 앤트로픽 API 가격으로 했을 때는 한 9억 달러 정도가 됩니다. 하나로 따지면 아 장난 아닌 금액입니다. 이러한 분위기를 사실은 미국뿐만 아니라 한국 현장에서도 생겨나고 있는 거 같아요. 특히 바이브 코딩 클로드가 유행하면서 이런 경우가 왕 많아졌는데 사실은 좀 안타까운게 대부분 왜 만드는지 모른 채 그냥 막 만드는데 그치는 거 같습니다.

처음 몇 번은 신기해서 막 만들 수 있는데 근데 그다음부터는 조금 임팩트가 뭔지를 알아야 되고 얻고자 하는 결과가 뭔지 알아야 되는데 그냥 만들기를 위한 만들기를 하고 있다는 거예요. 이게 사실 토큰 비용보다 더 큰 문제인 거 같아요. 우리의 시간이 사라진다는게 조금 안타까운 거 같습니다. 그래서 저희 팀은 토큰을 어떻게 쓸지 한 세 가지 기준으로 좀 쓰고 있는데요.

첫째 기준은 시간입니다. 어, 쓰기 전이랑 쓴 후를 명확하게 비교해 보는 거예요. 저희 팀 케이스 하나를 좀 풀어 드리면 매월 회계 업무가 있습니다. 저희는 작은 팀이기 때문에 신한 카드와 신한 은행에 있는 통장 내역으로 어 해당 내용들을 분류하고 정리를 하는데 그럼에도 불구하고 한 달에 200건에서 300건 이상의 지출 내역이 있어요.

그러면 이거를 저는 소규모 스타트업 대표다 보니까 제가 이걸 해야 되는데요. 보통 매월 한 네 시간 정도 걸립니다. 중요한 비즈니스 고민이나 프로젝트 관리 시간을 뺏겨 버리는 거죠. 그래서 이 업무를 통해서 시간을 확보하고자 AI 에이전트를 가볍게 만들어 봤는데 다운로드 하는데 5분, AI에게 지시하는데 1분, 답변 검토하는데 10분 해서 16분 정도 시간이 걸렸습니다.

약 3시간 40분 정도를 절감했어요. 토큰 비용은 계산을 해 보니까 한 5달러 정도 나오더라고요. 제 시간당 몸값이랑 급여를 생각하면 너무 가성비적이죠. 너무 만족스러웠습니다. 그리고 재밌던 점은 처음에는 케이스가 적어서 추가로 수정하는 시간이 한 10분 이상 걸렸었는데 매월 회계 케이스가 늘어남에 따라서 이 AI 에이전트가 탁월하게 일을 하게 돼서 거의 90점 이상 뭐 걸리는 시간 5분에서 10분 정도 더 절약됐습니다.

만 원이 안 되는 비용으로 매월 3시간 40분 이상을 버는 거고 개인 시간 가치 대비해서 ROI가 압도적이죠. 뭐 이런 잡무 같은 것도 시키는 거 같아요. 교육 캘린더 업무를 등록하는 건데 예를 들어 다회차 차수 같은 경우는 24번의 교육 시간표를 엑셀표를 그냥 클로드에게 주고 클로드 코워크를 활용해서 캘린더를 만들기도 합니다.

뭐 이거 되게 작은 단위의 업무지만 이런 번거롭고 시간을 아껴 주는 업무들을 토큰을 활용해서 효과적인지를 측정하려고 노력하고 있어요. 두 번째 기준은 이 일에 토큰 자체가 필요한가를 좀 생각을 해 봅니다. 의외로 엑셀이나 스프레드시트 같은 기존 툴로도 해결될 수 있는게 많아요. 저희 팀 사례를 좀 말씀드리면 외부 강사나 파트너, 매월 정산 업무 같은 걸 해야 되는데 저희가 매달 파트너분들한테 지출해야 되는 것들이 30개에서 50개 정도가 됩니다.

자, 이런 금액들을 다 취합하고 종합하고 정리하는 것들이 사실 되게 번거로운데 이거를 토큰을 구사할 필요가 없는 게요. 스프레드시트 앱스크립트라고 하는 거를 활용해서 하면은 한 방 해결됩니다. 시트에 정산 코드를 넣어 두고 매달 데이터만 넣으면은 딸깍하면은 자동으로 매달 지급 대상이 정리가 돼요. 이거는 엑셀에 있는 VBA 코드로도 가능합니다.

그래서 굳이 추가적으로 AI 토큰을 쓸 필요 없이 기존의 엑셀이나 스프레드시트 같은 걸 활용해서 데이터들을 일차적으로 가공할 수가 있다라고 보시면 돼요. 만약에 AI와 같이 작업을 하더라도 일차적으로 엑셀이나 스프레드시트로 가공한 이후에 토큰을 활용하면은 더 원활하게 비용을 아낄 수 있겠죠. 그래 잘 쓰는게 멋있게 보이긴 하지만은 더 멋있는 거는 AI로 굳이 안 해도 되는 것을 구분할 수 있는 좀 생각을 합니다.

자, 마지막 세 번째는 가장 중요한 건데요. 이 일이 우리 비즈니스를 진짜 키워 주느냐입니다. 시간 절약과 토큰 절약은 효율의 얘기인데요. 결국 회사는 돈을 벌어야 굴러가잖아요. 그래서 이 일이 매출이나 고객 실적에 연결되는 날이 가장 중요하다고 생각합니다. 저희 팀에서는 장행보관이라고 하는 AI 에이전트가 있어요.

군대에서 행정보급관, 그 행보관 맞습니다. 어, 무슨 일을 하냐면요. 카카오톡이나 메일, 폼으로 들어오는 세일즈 리드들을 한 곳에 모아주고요. 그리고 회의로 매일 기존 제안서 모듈들을 데이터를 끌어와서 제안서랑 견적서를 자동으로 작성합니다. 이게 좀 효과가 있는게 예전에는 고객들과 통화를 하고 제안서 쓰는데 시간이 오래 걸리다 보니까 바로 회신을 못 드렸어요.

근데 지금은 단순한 메일이나 통화 한 번만 오더라도 저희가 커리큘럼 제안서를 바로 보낼 수 있기 때문에 어 미팅 전, 미팅 당일에 만족도가 굉장히 높아지고 그로 인해서 계약 성사율이 높아지고 있습니다. 또 미팅 전에도 자잘하게 바이브 코딩으로 MVP를 만들어 가는 것도 이게 계약 성사하고 신뢰를 쌓는데 진짜 효과적이더라고요.

솔직히 말씀드리면 이 임팩트는 아직 정량 지표로 나온 건 없지만 최근에 계약을 달성하는 데 있어서 성공률이 높다라는 정도만 있는 거 같습니다. 상반기를 쭉 운영해 보고 어느 정도 지표로 만들어졌는지도 공유 드릴게요. 그래서 결국 비즈니스의 본질은 비즈니스를 키우는 것이잖아요. 그래서 토큰을 잘 쓴다는 것은 결국 거기로 귀결돼야 된다고 생각을 합니다.

참고로 장행보관은 단순히 저희만 이렇게 도와주는 일로 시킬 거 같진 않고요. 어, 1인 강사분들이 쓸 수 있는 솔루션을 확장하려는 또 노림수도 있습니다. 1인 강사 하실 분들 기대해 주세요. 자, 그래서 저는 젠슨 황 얘기를 들으면서 조금 다르게 보였던 거 같아요. 글로벌 빅테크가 연봉 50% 토큰 보너스를 준다. 근데 그것은 어떻게 보면은 그들이 직접적으로 AI 생태계에서 밸류 체인 안에 있기 때문에 가능한 거 같다라고 생각이 들어요.

하지만 대부분의 한국 기업이나 일반 직장인들, 특히 뭐 개발자가 아닌 사무직분들에게는 이런 것들이 직접적으로 밸류 창출하기 어려울 것 같고 다른 측정 기준이 필요한 거 같아요. 그래서 시간, 필요성을 기반으로 두고 더 나아가서는 비즈니스 임팩트까지 이 세 축을 기르는 것이 중요하다고 봅니다. 마침 허브스팟 CEO인 야미니 랜건이 한 줄로 딱 정리해 놨더라고요.

저도 좀 공감했던 겁니다. 아웃컴 맥싱이 토큰맥싱보다 압도적으로 중요하다. 즉 결과 나오는 것이 토큰을 쓰는 것보다 더 중요하다라는 거죠. 결국 토큰 사용으로 어떤 임팩트를 만들 것인가가 중요하다는 것입니다. 근데 솔직히 한편으로론 이런 의문도 있긴 해요. 지금이야 토큰 가격이 비싸지만 앞으로도 그럴까?

더 싸지면 지금 고민의 의미가 있을까라는 거죠. 같은 따르면 2030년까지 2025년 대비 토큰 비용이 90% 떨어질 거라고 합니다. 실제로 GPT 3.5 가격이 100만 토큰 기준으로 20달러였던 걸로 기억하는데 출시 당시에 2년 뒤 2024년에는 0.07달러까지 떨어진 걸 볼 수 있어요.

그러니까 지금 우리가 하는 토큰 고민은 단기적인 고민일 수도 있다고 생각합니다. 5년 뒤로 보면 지금 제가 이 영상을 찍는게 굉장히 우스워 보일 수 있겠죠. 그래도 지금 이 순간 모든 기업과 개인이 AI 경쟁에서 살아남으려고 미친 듯이 달리는 시점이라 토큰에 대한 고민을 해야 되는 것은 사실인 거 같아요. 좀 막연한 포모도 있어서 조급한 거 아닌가라는 걱정도 들기도 하고요.

사실 메타조차 뭐 자기들이 만든 클로드노믹스라고 하는 리더보드를 만에 뭐 내려버렸다고 합니다. 왜냐면은 직원들이 순위를 올리려고 AI 에이전트에게 의미 없는 일들을 몇 시간 동안 돌려 놨던 부작용도 있었다고 하더라고요. 그니까 이런 여러 가지의 상황들이 잘 해소가 되어야 의미 있게끔 토큰을 사용할 수 있지 않을까 싶습니다.

다만 한 가지는 분명한 거 같아요. 왜 만드는지부터 묻는 안목. 그건 토큰 가격이 어떻게 변하든 안 변할 것 같아요. 여러분들 회사는 토큰을 어떻게 쓰고 계신가요? 일부 인원들에게만 주나요? 아니면 모두에게 열어 놓았나요? 아니면 비용 때문에 한계를 두고 있나요? 뭐 이런 고민들에 있어서 저희 팀에서 하고 있는 이 세 개의 기준을 어떻게 하면 우리 조직에 맞게끔 정교화할 것인가에 대한 고민해 보시면 좋을 것 같습니다.

자, 그럼 다음에도 현장에서 경험한 이야기 그리고 고민을 가지고 퇴근길에 뵙겠습니다. 모두 조심히 퇴근하세요. 퇴근길 AI 망구였습니다.