연산은 3배 빨라지는데 메모리는 2배가 안 된다

11일차에 AI의 병목이 자본에서 칩으로, 다시 전력으로 옮겨왔다고 썼습니다. 그런데 칩 안에서도 같은 이동이 일어나고 있더군요. GPU에서 메모리로요.

올해 상반기 반도체 주식을 끌어올린 게 엔비디아가 아니라 메모리 회사들이었다는 것도 이 흐름을 보여줍니다.

메모리 월

마이크론 분석에 따르면 AI 가속기의 연산 성능은 약 2년마다 3배씩 증가하는데, HBM 같은 메모리의 대역폭 증가 속도는 2배에 미치지 못합니다.

이 간극이 계속 벌어지면 어떻게 될까요. 연산 장치가 아무리 빨라져도 데이터가 제때 도착하지 않으면 놀게 됩니다. GPU 사양표의 숫자가 실제 처리량으로 이어지지 않는 거죠. 업계에서는 이걸 메모리 월이라고 부릅니다.

그래서 AI 인프라의 실질적 병목이 GPU가 아니라 메모리라는 진단이 나옵니다. 확보 경쟁이 붙는 대상도 그쪽으로 옮겨가고 있고요.

HBM이 푸는 방식

일반 D램은 기판 위에 수평으로 배열됩니다. 데이터가 오가는 통로 폭에 물리적 한계가 있고, 거리가 멀어 전력도 많이 씁니다.

HBM은 D램 다이를 수직으로 쌓고 층을 관통하는 전극(TSV)으로 연결합니다. 고층 빌딩에 고속 엘리베이터를 놓은 구조라고 보면 됩니다. 같은 면적에서 훨씬 넓은 통로를 확보할 수 있고, 거리가 짧으니 전력 효율도 좋아집니다.

HBM4부터는 인터페이스가 2048비트로 두 배 확대됐습니다. 통로 자체를 넓힌 셈입니다.

다만 생산 비용이 일반 D램의 3배 이상입니다. 그래서 데이터센터용 AI 가속기와 HPC에 주로 쓰이고, 일반 PC 그래픽카드는 여전히 GDDR 계열을 씁니다. 소비자 제품에 들어오려면 시간이 더 필요합니다.

경쟁축이 넓어졌다

초기 HBM 경쟁은 단순했습니다. 얼마나 높이 쌓느냐, 얼마나 대역폭을 키우느냐. 그런데 이것만으로 연산 성능 증가를 따라잡기 어려워지면서 경쟁이 다층화됐습니다.

베이스다이. HBM 아래에서 전체를 제어하는 로직 칩입니다. HBM4부터 고객 맞춤형으로 진화하면서 이 부분의 설계와 공정이 중요해졌습니다. 여기서 파운드리 역량이 변수가 됩니다. 삼성은 1c나노 D램과 2나노 공정 기반 베이스다이를 조합하며 수직계열화를 강점으로 내세우고, SK하이닉스는 TSMC와 협업 체계를 이어가고 있습니다.

배치 구조. 삼성이 공개한 zHBM은 가속기 옆이 아니라 위에 수직 적층하는 방식입니다. 데이터 이동 거리 자체를 줄이겠다는 접근이죠.

발열. 쌓을수록 가운데 층의 열이 빠져나가기 어렵습니다. 액체 냉각이 논의되는 이유입니다.

연결 방식. 마이크론은 HBM 바깥으로 시야를 넓혔습니다. 메모리 전용 고속 전송회로, 칩 간 직접 연결, 광 연결, 유리 기판 같은 걸 제시했습니다. 메모리만 개선해서는 안 되고 데이터가 오가는 길과 패키지 전체를 함께 바꿔야 한다는 논리입니다.

업계 관계자 표현을 빌리면 "D램 경쟁력이 기본값이고 그 위에 로직과 파운드리, 패키징 역량이 추가 변수로 붙는 구조"입니다. 메모리 회사가 종합 반도체 역량을 요구받게 된 셈이죠.

시장 상황

2026년 현재 SK하이닉스와 삼성전자가 HBM 시장의 95% 이상을 차지합니다. 점유율은 1%포인트 이내로 좁혀져 백중세가 됐습니다. 한동안 SK하이닉스가 앞서 있었는데 삼성이 HBM4 양산으로 따라붙은 결과입니다.

다만 낙관만 하기는 어렵습니다. 몇 가지 변수가 있습니다.

가격 조정 가능성. 경쟁 심화와 생산능력 확대로 HBM 가격이 조정 국면에 들어갈 수 있다는 전망이 나옵니다. 지금의 높은 마진이 계속된다는 보장은 없습니다.

소부장 의존도. TSV 식각이나 다이싱 장비 같은 핵심 장비는 일본과 미국 기업 중심입니다. 공급망 리스크가 남아 있습니다.

후발 진입. 중국 업체들의 D램 생산 확대도 중장기 변수로 꼽힙니다.

정리

AI 성능을 GPU 숫자로만 보던 시각이 바뀌는 중입니다. 연산 장치가 빨라져도 데이터를 공급하지 못하면 의미가 없으니까요.

37일차 전고체 배터리 글에서 "기술보다 공정이 어렵다"는 얘기를 했는데, HBM도 비슷한 성격이 있습니다. 쌓는다는 아이디어 자체는 명료한데 수율과 발열과 패키징이 실제 승부처가 되고 있으니까요. 반도체 경쟁이 미세공정에서 패키징과 시스템 설계로 넓어지는 흐름을 보여주는 사례로 볼 만합니다.