AI의 병목은 이제 칩이 아니라 전기다

몇 년 전만 해도 AI 업계의 화두는 GPU였습니다. 엔비디아 물량을 얼마나 확보했느냐가 곧 경쟁력이었죠. 그런데 요즘 나오는 뉴스를 보면 주어가 바뀌었습니다. 칩이 아니라 전기입니다.

미국에서 1,300억 달러 규모의 데이터센터 프로젝트 75건이 멈춰 섰다는 소식이 대표적입니다. 자금이 없어서도, 칩이 없어서도 아니었습니다.

AI 데이터센터가 유별난 이유

데이터센터가 전기를 많이 쓰는 시설이라는 건 원래 알려진 사실입니다. 그런데 AI용은 차원이 다릅니다.

기존 데이터센터가 10~25MW를 쓴다면 하이퍼스케일 AI 데이터센터는 100MW를 넘어갑니다. 미국 현지 취재 기사에는 서버랙 하나가 주택 100채 분량의 전기를 쓴다는 표현이 나오더군요.

규모보다 성격이 더 문제입니다. 일반 서비스는 트래픽에 따라 부하가 오르내리지만, AI 학습은 수주에서 수개월간 중단 없이 돌아갑니다. 24시간 최대 부하가 계속되는 겁니다. 게다가 이 부하가 특정 지역 변전소에 집중되니 송전망 포화와 전력 품질 문제가 동시에 터집니다.

병목이 옮겨왔다

AI 확장을 막는 제약은 계속 옮겨 다녔습니다. 처음엔 자본이었고, 2023~24년엔 GPU였고, 지금은 전력입니다. 가트너는 2027년까지 새로 짓는 AI 데이터센터의 40%가 전력 가용성 때문에 운영 제약을 받을 것으로 봅니다.

흥미로운 건 앞서 말한 75건이 멈춘 직접적인 이유가 물리적 전력 부족이 아니라 지역사회의 반대였다는 점입니다. 반대의 실질적 근거는 전기요금 인상과 전력망 부담이었고요. 반대 조직이 49개 주에 걸쳐 833개로 1년 만에 두 배 넘게 늘었다는 집계도 있습니다. 미국에서는 이 문제가 11월 중간선거 쟁점으로까지 올라갔습니다.

즉 이건 공학 문제이면서 동시에 정치 문제가 됐습니다. 전기요금 고지서를 받는 주민 입장에서는 우리 동네에 들어온 데이터센터가 요금을 올리는데 혜택은 실리콘밸리가 가져가는 구도로 보이니까요.

업계 대응

빅테크의 해법은 결국 발전소를 직접 확보하는 쪽으로 가고 있습니다. 아마존은 소형모듈원자로(SMR) 기업과 계약했고, 마이크로소프트는 스리마일아일랜드 원전 재가동으로 전력을 조달하기로 했습니다. 구글도 SMR 스타트업과 500MW 규모 구매 계약을 맺었습니다. 이 정도면 중소도시 하나가 쓸 전력입니다.

IT 회사가 에너지 회사와 협상하는 게 일상이 된 셈인데, 여기에 냉각 효율 개선(공랭에서 수냉으로)이나 전력이 남는 지역으로 입지를 옮기는 시도도 함께 갑니다.

개발자 관점에서

이 얘기가 남 일 같지 않은 이유가 있습니다. 전력이 제약이 되면 회계 단위가 바뀝니다. 모델이 얼마나 큰가에서, 와트당 얼마나 쓸모 있는 결과를 뽑느냐로요.

이미 그 신호가 보입니다. 앞서 다뤘던 토큰맥싱 유행이 꺾인 것도 결국 비용 문제였고, 온디바이스 AI가 주목받는 것도 추론 부하를 분산하려는 흐름입니다. 프리미엄 모델 하나로 전부 처리하던 패턴에서 작업 난이도에 따라 모델을 나누는 라우팅으로 옮겨가는 것도 같은 맥락이고요.

서비스를 만드는 입장에서는 "이 기능에 정말 대형 모델이 필요한가"를 묻는 게 이제 비용 관리이자 실무 역량이 됐습니다. 불필요하게 큰 컨텍스트를 매번 밀어넣고 있지는 않은지, 캐싱으로 줄일 수 있는 호출은 없는지 같은 것들이요.

정리

AI를 소프트웨어 문제로만 보면 놓치는 층위가 있습니다. 결국 전기와 냉각과 부지의 문제이고, 그래서 국가 인프라와 지역 정치의 문제이기도 합니다.

한 가지 예측을 덧붙이자면, 앞으로 몇 년간 "AI 성능"만큼이나 "전력 효율"이 마케팅 문구에 자주 등장할 겁니다. 이미 반도체 업계는 그 방향으로 가고 있고요.