토큰맥싱이라는 이상한 유행에 대하여

얼마 전 회사에서 AI 코딩 도구 활용 얘기가 나왔을 때, 문득 궁금해진 게 있었다. 우리는 지금 AI를 "잘" 쓰고 있는 걸까, 아니면 그냥 "많이" 쓰고 있는 걸까.

실리콘밸리에서는 이 질문이 이미 웃지 못할 유행어가 됐습니다. 토큰맥싱(Tokenmaxxing). AI 토큰을 최대한 많이 태우는 것 자체를 실력처럼 여기는 현상을 말합니다.

발단은 젠슨 황의 한마디

토큰은 AI 모델이 텍스트를 처리하는 기본 단위입니다. 프롬프트를 길게 쓰든, 에이전트를 여러 바퀴 돌리든, 컨텍스트를 크게 잡든 토큰은 늘어나고, 그만큼 돈이 나갑니다.

올해 3월 엔비디아 CEO 젠슨 황이 불을 지폈습니다. 연봉 50만 달러 받는 엔지니어라면 그 절반쯤은 AI 토큰에 써야 정상 아니냐는 취지의 발언이었죠. 토큰을 파는 쪽 대표의 말이니 걸러 들을 필요는 있지만, 어쨌든 이 발언 이후 "토큰 사용량 = AI 네이티브의 증거"라는 분위기가 빅테크 전반에 퍼졌습니다.

메타에서 벌어진 일

이게 극단으로 간 곳이 메타입니다. 사내에 토큰 사용량 리더보드를 만들어서 누가 제일 많이 쓰는지 순위를 공개한 겁니다. 마이크로소프트도 1월부터 비슷한 대시보드를 운영했고요.

결과는 예상대로였습니다. 보도에 따르면 메타 직원들이 30일 동안 태운 토큰이 60조 개가 넘었습니다. API 정가로 환산하면 9억 달러 어치. 물론 메타가 정가를 낼 리는 없지만, 그걸 감안해도 어마어마한 금액이고 그중 상당수는 순위를 위해 의미 없이 태운 토큰이라는 지적이 나왔습니다.

인사평가에 불이익이 있을까 봐 별 의미 없는 프롬프트를 날리고, 안 봐도 되는 에이전트를 백그라운드에 돌려두는 겁니다. 비판이 쏟아지자 메타는 결국 리더보드를 폐지했습니다.

어디서 많이 본 그림이다

이 얘기를 듣고 기시감이 들었다면 정상입니다. 우리는 이미 같은 실수를 두 번 했거든요.

코드 줄 수(LOC)로 개발자를 평가하던 시절이 있었습니다. 결과는 쓸데없이 장황한 코드였죠. 커밋 수로 평가하니 의미 없는 잘게 쪼갠 커밋이 늘었고요. 측정하기 쉬운 숫자를 목표로 삼는 순간 그 숫자는 지표로서의 가치를 잃는다는, 굿하트의 법칙(Goodhart's Law) 그대로입니다.

토큰맥싱은 그 세 번째 버전입니다. 다른 점이 하나 있다면, 이번 지표는 늘릴수록 회사 돈이 실시간으로 타들어간다는 겁니다.

분위기는 이미 바뀌고 있다

올해 하반기 들어 흐름이 꺾이는 게 보입니다. 가트너는 사용량 기반 과금 구조 때문에 AI 코딩 비용이 개발자 평균 임금을 넘어설 수 있다고 경고했고, 실제로 우버가 AI 예산을 조기 소진하는 일도 있었습니다. 기업들이 토큰 지출에 신중해지면서, 프리미엄 모델 하나에 몰빵하던 소비를 작업 성격에 따라 여러 모델로 나누는 쪽으로 바뀌는 중입니다.

논쟁의 축도 이동했습니다. "얼마나 많이 쓰느냐"에서 "쓴 걸로 뭘 만들어냈느냐"로요.

개발자 입장에서의 결론

AI 도구를 적극적으로 쓰는 건 맞는 방향이라고 생각합니다. 저도 매일 씁니다. 다만 토큰 사용량이 KPI가 되는 순간 일이 이상해집니다. 좋은 프롬프트로 한 번에 끝내는 사람보다, 어설픈 프롬프트로 열 번 돌리는 사람이 지표상 유능해 보이는 구조니까요.

만약 여러분 회사가 AI 도입 지표를 고민 중이라면, 토큰량 대신 이런 걸 봐야 한다고 생각합니다. AI로 처리한 작업의 리뷰 통과율, 버그 재발률, 리드타임 변화. 측정이 귀찮은 지표가 대개 진짜 지표입니다