반도체 시대 필수 부품 HBM, 데이터 작업대를 빠르게 만드는 3가지 이유

AI 반도체 시대의 필수 부품 HBM, 왜 그렇게 뜨거울까?

 

지난 시간 우리는 데이터를 잠시 보관하는 빠른 작업대인 D램과 전원이 꺼져도 정보를 유지하는 창고인 낸드플래시의 차이를 확인했습니다.

 

오늘 살펴볼 HBM은 바로 D램의 식구입니다. 다만 일반적인 D램과는 달리 아주 특별한 공정을 거쳐 탄생한 존재입니다. 이름부터 살펴보면 HBM은 High Bandwidth Memory의 약자로 고대역폭 메모리를 의미합니다. 여기서 대역폭이 넓다는 것은 데이터가 지나다니는 도로가 넓어 한 번에 더 많은 데이터를 실어 나를 수 있다는 뜻입니다.

 

 

일반적인 D램은 칩 하나를 기판 위에 넓게 펼쳐서 배치합니다. 하지만 HBM은 전혀 다른 접근 방식을 취합니다. 여러 개의 D램 칩을 수직으로 층층이 쌓아 올려 하나의 거대한 덩어리로 만드는 방식입니다. 이때 가장 중요한 기술이 바로 실리콘관통전극이라고 부르는 TSV입니다. 칩마다 미세한 구멍을 뚫고 그 안에 금속을 채워 넣어 위아래 칩을 수직으로 직접 연결하는 기술입니다.국제 반도체 표준기구인 JEDEC 규격에 따르면 HBM은 보통 4단이나 8단, 최신 버전의 경우 12단 이상까지도 쌓아 올립니다.

 

 

데이터를 옆으로 나열하는 대신 수직으로 쌓고 TSV로 촘촘하게 연결하면 데이터가 이동하는 통로가 획기적으로 넓어집니다. 이 구조 덕분에 HBM은 기존 메모리보다 훨씬 빠른 속도를 낼 수 있습니다. 이렇게 완성된 메모리 덩어리는 GPU 옆에 딱 붙어서 인터포저라는 기판 위에 함께 올라갑니다.

 

 

그렇다면 왜 하필 지금 이 시점에 AI 때문에 HBM이 중요해진 것일까요. 그 이유는 GPU의 계산 성능과 관련이 깊습니다. GPU는 엄청난 속도로 연산을 처리하는 두뇌 역할을 합니다. 그런데 만약 메모리가 연산에 필요한 데이터를 제때 공급하지 못하면 GPU는 일을 멈추고 데이터를 기다려야 하는 상황에 직면합니다.

 

 

업계에서는 이를 메모리 병목 현상이라고 부릅니다. AI 모델을 학습시키거나 결과물을 추론하는 작업은 상상 이상의 방대한 데이터를 주고받아야 합니다. GPU 성능이 아무리 좋아져도 메모리가 데이터를 빠르게 공급하지 못하면 전체 작업 속도는 결국 메모리에 발목이 잡히고 맙니다.

 

 

HBM은 이 병목 현상을 해결하는 핵심 열쇠입니다. 같은 면적 안에서 데이터 통로를 최대한 확보해 GPU가 쉼 없이 계산할 수 있도록 데이터를 쉼 없이 밀어 넣어주기 때문입니다. 그래서 오늘날의 AI 학습용 GPU에는 예외 없이 HBM이 함께 탑재됩니다. 비유하자면 GPU가 강력한 엔진이라면 HBM은 그 엔진이 멈추지 않게 연료를 끊임없이 공급하는 고성능 연료 펌프인 셈입니다.

 

 

일반적인 D램과 HBM의 차이를 정리하면 이렇습니다. 우선 배치의 경우 일반 D램은 기판 위에 칩을 넓게 나열하는 방식을 쓰지만 HBM은 여러 층으로 수직 적층하는 방식을 취합니다. 칩 간의 연결 또한 기판의 배선을 거치는 일반 D램과 달리 HBM은 TSV 기술을 통해 칩을 직접 관통하여 연결합니다.

 

 

사용처를 보면 일반 D램은 주로 PC나 일반 서버에 들어가지만 HBM은 데이터 병목을 반드시 해결해야 하는 AI 학습용 GPU나 고성능 컴퓨팅 환경에 집중적으로 사용됩니다. 당연히 칩을 쌓고 연결하는 공정이 훨씬 까다롭기 때문에 HBM의 가격과 생산 난이도는 일반 D램보다 훨씬 높습니다.

 

 

 

 

현재 HBM을 양산할 수 있는 기업은 전 세계적으로 SK하이닉스와 삼성전자 그리고 마이크론까지 세 곳뿐입니다. 칩을 쌓고 TSV로 정밀하게 연결하는 공정은 아무나 쉽게 접근할 수 없는 고도의 기술력을 요구하기 때문입니다.

 

 

시장조사업체 자료를 기반으로 한 보도에 따르면 2025년 2분기 기준으로 SK하이닉스가 시장 점유율 62퍼센트를 기록하며 1위를 달리고 있고 마이크론이 21퍼센트, 삼성전자가 17퍼센트로 뒤를 잇고 있습니다.

 

 

다만 HBM은 세대가 빠르게 교체되는 시장이라 각 사가 출시하는 신제품의 인증 결과에 따라 순위는 언제든 변동될 수 있습니다. 현재는 다음 세대인 HBM4를 누가 먼저 시장 요구에 맞춰 안정적으로 양산하느냐를 두고 치열한 경쟁이 펼쳐지고 있습니다.

 

 

정리하자면 HBM은 전혀 새로운 개념의 메모리가 아니라 기존의 D램을 수직으로 쌓아 올리고 TSV 기술로 연결해 데이터 통로를 극대화한 버전이라고 이해하면 쉽습니다. GPU가 AI 시대의 핵심 엔진이라면 HBM은 그 엔진이 최고 속도로 달릴 수 있게 돕는 필수 동반자입니다.

 

 

오늘 살펴본 내용이 반도체의 세계를 이해하는 데 도움이 되었기를 바랍니다. 다음 시간에는 애초에 왜 GPU가 AI 학습에 있어 CPU보다 유리한지 그 구조적인 이유를 자세히 풀어보겠습니다. 반도체에 대해 궁금한 점이 있거나 더 알고 싶은 내용이 있다면 언제든 편하게 댓글로 남겨주시기 바랍니다. 함께 공부하면서 더 넓은 정보의 바다를 탐험해 보시죠.