HBM, 사랑해, 아니 미워해

무언가를 미치도록 원할 때가 있습니다. 그것은 이성의 사랑일 수도 있구요. 재산일 수도 있구요. 높은 사회적 지위와 명성일 수도 있습니다. 그 열망이 너무 뜨거워졌는데 이를 얻지 못하면, 인간은 반대로 이를 미워하기도 합니다. 

에밀리 브론테의 소설 ‘폭풍의 언덕’에는 이런 구절이 나옵니다. 주인공 히스클리프가 사랑하는 캐서린을 이런 말로 원망합니다.  

"I have not broken your heart—you have broken it; and in breaking it, you have broken mine"

"내가 당신 가슴을 찢은 게 아니야. 당신이 당신 가슴을 찢은 거야, 당신 가슴을 찢으면서 내 가슴까지 찢어놓은 거야." 

이런 갈망과 미움이 동시에 나타나는 현상이 테크 업계에 나타나고 있습니다. 바로 AI 가속기의 핵심부품인 메모리 반도체 HBM에 대해서 입니다.

고대역폭메모리(HBM). 미라클러 님이라면 무엇인지 이미 알고 계시겠죠? 앞서 미라클레터에서 HBM이란 메모리 반도체라는 피자를 쌓아 올린 것이라고 말씀드렸는데요. HBM은 거대언어모델(LLM) 연산을 위해 만들어진 ‘특수 메모리 반도체’라고 생각하시면 됩니다. 

우리가 요즘 사용하는 챗GPT같은 인공지능(AI)은 인간의 뇌를 본따 소프트웨어 적으로 만들어진 ‘신경망’인데요. 그 신경망의 사이즈가 어마어마하게 크다는 것이 특징입니다. 가장 고성능의 AI 모델은 1조개 이상의 매개변수로 구성되어 있는 것으로 알려져있습니다. 

컴퓨터의 구조는 1945년 폰 노이만 구조라는 개념이 등장한 이후 크게 달라지지 않았습니다. 바로 연산을 하는 장치(프로세서)와 연산을 위한 데이터를 저장해 놓는 장치(메모리)가 따로 있는 거죠. 거대한 신경망 연산을 위해 특화된 반도체가 엔비디아의 GPU이며, 이 GPU에 많은 데이터를 빠르게 제공하기 위해 만들어진 것이 HBM입니다. 대역폭과 용량을 높이기 위해 범용 D램을 여러층으로 쌓은 후, GPU와 많은 선으로 연결한 반도체입니다. 

GPU의 주 용도가 LLM을 만드는 것, 즉 학습(Training) 중심일 때는 HBM의 성능이 중요했습니다. 큰 용량과 대역폭을 가질수록 학습 성능이 좋았기 때문입니다. 그런데 GPU의 용도가 이미 만들어진 LLM을 가지고 되도록 많은 사람들에게 서비스하는 것, 즉 추론(Inference)이 중심이 되면서 기존에는 고민하지 않았던 문제가 생겼습니다.

바로 KV캐시의 문제입니다. KV 캐시는 추론과정의 효율성을 높이기 위해 반복적으로 사용되는 값을 메모리에 저장해두는 것인데요. 사용자가 많아질수록, 사용자가 AI에 입력하는 데이터가 커질수록, AI가 스스로 생각(reasoning)을 할 수록 메모리에 부하가 많이 걸리게 됩니다. 쉽게 말하면 느려진다는 것입니다. 챗GPT 사용자가 많아질수록, 클로드로 코딩하는 사람이 많아질수록, AI로 동영상을 생성하는 사람이 많아질수록, 전세계 사람들의 AI 사용 속도가 급격하게 느려집니다.

이 KV캐시로 인해 느려지는 문제를 해결하는 가장 편한 방법은 사용하는 메모리를 늘리는 것인데요. 돈만 많다면 HBM을 쓰는 것이 제일 좋습니다. 앞서말씀드린대로 AI 연산을 위해 만들어진 특수한 메모리 반도체가 HBM이니까요.

그런데 여기서 비용과 공급량의 문제가 커집니다. HBM은 범용 D램을 가져와서 쌓아서 만듭니다. 스마트폰, PC, 랩탑 등에 들어가는 D램의 생산을 줄이는 대신 HBM을 만들어야합니다. HBM 수요가 폭발하면서 전반적인 D램 가격이 1년전에 비해 5배 이상 폭등했습니다. 지난해 부터 삼성전자와 SK하이닉스의 실적과 주가가 로켓처럼 치솟은 이유입니다.

앞서 말씀드린 대로 돈만 많다면, 가격만 싸다면 HBM을 쓰는게 제일 좋습니다. 그런데 HBM이 너무 비쌉니다. 전 세계에서 딱 3개 회사만 만드는데, 그 앞에 엔비디아, 구글, 아마존, 마이크로소프트, 오픈AI, 앤트로픽이 줄을 서 있습니다. 지금은 돈이 있어서 사기도 어렵습니다. 

너무너무 원하는데 너무 비쌉니다. 비쌀뿐만 아니라 물량도 없습니다. 돈을 더 주겠다고 해도 안 판다고합니다. 주요 메모리 업체들이 D램 공장을 짓겠다고 하는데 제일 빨리 완성되는게 내년 상반기에 가동되는 SK하이닉스의 용인 팹입니다. 1년은 지나야 공급 부족이 해결될 수 있다는 것이죠. 

미국시간 26일 발표된 엔비디아 실적발표에서 엔비디아는 HBM 가격이 너무 올라서 수익성이 떨어졌다고 발표했습니다. 이를 이유로 최종 고객들에게 판매하는 엔비디아 GPU의 가격도 인상시켰습니다. 

어떻게 해야할까요? 엔비디아를 비롯해 빅테크기업들은 대안을 찾아나서기 시작합니다. 

방법1 : 비슷하지만 다른 메모리를 찾자

D램과 비슷한 메모리 반도체에 낸드 플래시라는 것이 있습니다. 휘발성인 D램과 달리 한번 적어놓으면 계속 기억이 남습니다. 랩탑의 저장공간처럼, 자주 접근하는 데이터를 저장하는 용도로 쓰는데요. 이 낸드를 KV 캐시를 저장해놓는 역할로 쓰는 경우가 많아졌어요. 낸드는 용량이 크지만 D램보다는 속도가 느립니다. 느린 속도를 감수하고 쓰는 것입니다.

그런데 낸드를 KV캐시 용으로 쓰는 수요가 많아지다보니, 요즘은 낸드 플래시 가격도 뛰었습니다. 환장할 노릇이죠. 

방법2 : 완전히 다른 반도체를 찾자

낸드도 결국은 메모리 반도체입니다. 메모리 반도체 기업들이 가지고 있는 생산능력의 제한을 받습니다. 그래서 다른 저장 방식을 찾는 시도가 나옵니다.  

앞서 폰 노이만 구조에서 연산장치와 메모리가 별도라고 말씀을 드렸는데요. AI 가속기의 경우 하나의 웨이퍼로 GPU를 만들고, 다른 웨이퍼로 D램과 HBM을 만듭니다. 그리고 기판 위에 GPU와 여러개의 HBM을 올리고 둘을 패키징합니다. 이것이 하나의 ‘AI 가속기’입니다. GPU + HBM이 결합되는 구조는 2015년 AMD와 SK하이닉스가 세계 최초의 HBM을 공개했을때와 크게 달라지지 않았습니다.

그런데 연산을 하는 프로세서에도 별도의 저장장치가 있습니다. 이를 S램이라고 합니다. 이 S램은 웨이퍼에 프로세서 회로를 그릴 때 함께 그려넣습니다. 그래서 CPU 반도체에 S램이 한몸으로 들어가 있습니다. 연산 속도를 높이기 위해 HBM이 아니라 SRAM을 이용하자는 컨셉이 그래서 나옵니다. 발상을 뒤집은 것이죠.

엔비디아가 지난해 인수해 출시한 그록 LPU는 SRAM을 이용한 반도체입니다. 문제는 S램은 용량의 크기가 작다는 것입니다. 그래서 세레브라스 라는 회사는 웨이퍼 크기로 하나의 반도체를 만듭니다. 용량의 문제를 해결하기 위한 우회로 입니다. 무엇보다 S램을 사용하면 이미 포화상태인 메모리 반도체 회사가 아니라 로직 파운드리의 생산공정을 이용할 수 있습니다. SRAM이 HBM의 대안이 된 이유입니다.  

방법3 : 소프트웨어로 해결해보자

추론 성능을 높이기 위해 메모리 반도체 구매를 늘리는 것은 하드웨어적인 해결책인데요. 다른 방법은 이를 소프트웨어적으로 해결하는 것입니다. AI모델을 이른바 양자화해서 크기를 줄여버리면 필요한 메모리의 양도 줄어듭니다. 

구글이 지난 3월 선보인 기술인 ‘터보퀀트’. 중국 딥시크가 선보인 ‘멀티헤드 레이턴트 어텐션(MLA)’라는 기술도 있습니다. KV캐시 사용량을 줄이는 기술로 결국엔 메모리 반도체 사용량을 줄입니다.

방법 4 : HBM 을 덜 쓰자!

그런데 사실 HBM의 높은 가격과 공급 부족 문제를 해결하는 가장 좋은 방법이 있습니다. 바로 사용량을 줄이는 것입니다!

현재 우리 메모리 반도체 기업들이 엔비디아에 공급하고 있는 HBM4는 8단 기준 192GB, 12단 기준 288GB의 용량을 가지고 있습니다. 그런데 이 다음세대인 루빈 울트라에서는 지금 보다 더 낮은 192GB 용량 제품이 공급될 것이라는 관측이 나오고 있습니다. 2025년만해도 1TB(=1024GB) 용량의 HBM을 쓸 것이라는 전망이 나온 것에 비하면 HBM 사용량이 크게 줄어드는 것이죠. 

이렇게 HBM을 덜 사용하는 것이 향후 D램 수요에 어떤 영향을 미칠지는 모르겠습니다. 증권가에서는 'HBM 덜 쓴다 -> D램 수요가 줄어든다'가 아니라 'D램 공급이 안 늘어든다 -> HBM 덜 쓴다'가 맞다고 설명하고 있습니다. 그러니 삼성전자와 SK하이닉스의 실적에 미치는 영향은 크지 않다는 것이죠. 

방법 5 : (나에게 유리한) 새로운 HBM을 개발하자 

장기적으로는 2015년 이후 크게 변하지 않은 HBM의 구조를 바꾸려고 하는 움직임도 나옵니다. 

엔비디아는 최근 NVHBM이라는 새로운 기술을 공개했는데요. 기존에는 GPU에 있던 메모리를 콘트롤하는 부분(메모리 컨트롤러)을 HBM으로 보내서 전체적인 성능을 높일 수 있다는 것입니다. 특히, AWS의 맞춤형 칩인 트레이니움을 만드는 안나푸르나랩스와 함께 개발하기로 했는데요. 이 부분이 꽤 의미심장합니다. 

전체 AI 가속기 시장은 엔비디아가 압도적인 1위를 차지하고 있고(70% 이상), 2위 그룹에 AMD와 AWS와 구글의 자체 AI 가속기(트레이니움, TPU)가 있는데요. 1위와 2위가 손을 잡고 공통 메모리 컨트롤러를 개발하겠다는 것이 이번 발표 내용. HBM을 만드는 메모리 3사(삼성전자, SK하이닉스, 마이크론)와 다른 AI 가속기 제조업체를 견제하고 기술을 주도하려는 것으로 보입니다. 

NVHBM은 메모리 컨트롤러를 HBM의 베이스 다이 부분으로 옮기는 것인데요. 이 영역은 원래 메모리 업체들이 직접 설계하던 것이었습니다. 엔비디아는 자신들이 만든 메모리 컨트롤러를 HBM에 넣고 싶은 것이고, 메모리 3사가 이를 공통적으로 쓰기를 바라는 것입니다. 메모리 3사 입장에서는 매우 중요한 부가가치가 나오는 부분을 엔비디아에 넘겨줘야하는 것이죠. 삼성전자도 이번주 핫칩스에서 베이스 다이에 대해서 발표한 것이 웬지 우연이 아닌 것 같아 보입니다.  

이처럼 빅테크 기업들이 원하면서, 동시에 원망하는 'HBM' 공장이 미국에 설립됩니다. SK하이닉스가 인디애나주 웨스트 라파옛에 후공정 패키징 팹 건설을 시작하고 착공식을 미국시간 26일에 열었기 때문이죠. 

이곳은 미국의 명문 공대인 퍼듀대학교가 있는 곳으로, 2028년부터 이곳에서 HBM을 본격 생산하게됩니다. 한국에서 HBM용으로 만들어진 D램 웨이퍼를 수입한 후 이곳에서 웨이퍼를 자르고 패키징하게됩니다. 

이 HBM은 아리조나주에 있는 TSMC의 공장에서 생산된 엔비디아의 GPU와 함께 다시 패키징이되어서 AI 반도체가 되어서, AI 서버에 들어갑니다. 혹은 AMD나 아마존, 구글이 만드는 AI 반도체와 패키징이 될 수도 있죠. 이 AI 서버들은 미국내에서 조립되어 다시 미국의 AI 데이터센터를 채우게됩니다. AI 인프라의 공급망을 완전히 미국 내에 구축하는 과정에서 중요한 역할을 인디애나주의 SK하이닉스 공장이 맡고 있다는 것이죠. 이는 미국에서 HBM을 얼마나 국가안보에 중요한 반도체인지 보고 있는지를 보여줍니다.