티스토리 뷰
목차
엔비디아 H100 GPU 하나에 들어가는 HBM의 용량은 80GB, 대역폭은 초당 3.35TB에 달합니다. 이 수치를 처음 봤을 때 솔직히 실감이 나지 않았습니다. GPU 이야기만 따라다니다가 메모리 하나의 스펙이 이렇게까지 중요한 숫자가 됐다는 사실이 낯설었습니다. 그 낯섦이 HBM을 제대로 들여다보게 된 시작이었습니다.
GPU만 보던 시선이 바뀐 이유
AI 관련 기사를 꾸준히 읽어왔지만, 처음에는 GPU 성능이 좋아지면 AI도 자연스럽게 발전하는 구조라고 단순하게 생각했습니다. 엔비디아 신제품이 나올 때마다 시장이 들썩이는 걸 보면서 그 믿음이 굳어졌던 것도 사실입니다.
그런데 실적 발표 자료를 하나씩 읽다 보니 이상한 부분이 있었습니다. GPU 성능은 계속 높아지고 있는데, 왜 AI 서버 공급 부족 이야기는 반복되는 걸까. 엔비디아 발표에서도, SK하이닉스와 삼성전자 발표에서도 공통적으로 HBM이라는 단어가 빠지지 않았습니다.
그래서 AI 서버 구조를 다시 살펴봤습니다. GPU는 엄청난 속도로 행렬 연산을 수행합니다. 대규모 언어 모델처럼 파라미터 수가 수천억 개에 달하는 모델을 돌리려면 초당 수조 번의 연산이 필요합니다. 문제는 그 연산을 하려면 데이터가 끊임없이, 그리고 충분히 빠른 속도로 GPU에 공급되어야 한다는 점이었습니다.
여기서 HBM(High Bandwidth Memory)이 등장합니다. HBM이란 D램 칩을 수직으로 여러 층 쌓아 올린 뒤 TSV(Through Silicon Via), 즉 실리콘 관통 전극 기술로 연결한 고대역폭 메모리입니다. 쉽게 말해, 일반 D램이 1차선 도로라면 HBM은 수십 차선이 동시에 열려 있는 고속도로입니다. GPU가 계산을 멈추지 않도록 데이터를 쉼 없이 밀어 넣는 역할을 합니다.
제가 직접 일반 D램과 HBM의 대역폭 수치를 나란히 놓고 비교해 봤는데, 차이가 생각보다 훨씬 컸습니다. 최신 DDR5D램의 대역폭이 초당 64GB 수준인 반면, HBM3E는 초당 1TB를 훌쩍 넘습니다. 단순 수치로만 보면 10배 이상 차이가 납니다. GPU가 아무리 빠른 연산 능력을 갖춰도, 데이터를 공급하는 통로가 좁으면 전체 성능이 그 병목에 묶이는 구조입니다.
이 부분을 이해하고 나서야 AI 시대에 HBM이 계속 언급되는 이유가 비로소 선명해졌습니다. GPU와 HBM은 별개의 제품이 아니라 하나의 시스템처럼 설계되어 함께 진화하고 있었습니다.
- 일반 DDR5 D램 대역폭: 초당 약 64GB 수준
- HBM3E 대역폭: 초당 1TB 이상 (약 16배 이상 차이)
- 엔비디아 H100 GPU: HBM2e 기준 80GB, 대역폭 초당 3.35TB 탑재 (출처: NVIDIA 공식 사양)
- AI 모델 파라미터 증가 추세에 따라 GPU 1개당 탑재 HBM 용량도 지속 증가 중
HBM 공급망과 메모리 경쟁력의 실체
HBM의 중요성을 이해하고 나서 자연스럽게 다음 질문이 생겼습니다. 그렇다면 HBM은 누구나 만들 수 있을까. 처음에는 메모리 기업이 많으니 공급이 늘어나면 결국 가격 경쟁으로 흘러가지 않을까 생각했습니다. 일반 D램 시장이 거쳐온 길이 있었으니 그 경험이 반사적으로 작동한 것 같습니다.
하지만 SK하이닉스와 삼성전자의 실적 발표 자료를 나란히 비교해 보니 예상이 빗나갔습니다. HBM은 단순히 D램을 많이 만드는 문제가 아니었습니다. 첨단 패키징(Advanced Packaging) 기술이 핵심 장벽이었습니다. 첨단 패키징이란 GPU와 HBM을 하나의 기판 위에 극도로 정밀하게 붙이는 공정으로, 여기서 수율과 열 관리 기술이 기업 경쟁력을 직접적으로 갈라놓습니다.
쉽게 말해 HBM 칩을 잘 만드는 것과, 그 칩을 GPU에 제대로 붙여서 안정적으로 동작하게 만드는 것은 완전히 다른 기술 수준의 문제입니다. 제가 이 부분을 처음 읽었을 때 솔직히 이건 예상 밖이었습니다. HBM을 메모리 기술로만 보던 시각이 생산 공정 전체의 문제로 확장됐습니다.
AI 공급망 전체를 그려보면 흐름이 보입니다. 빅테크 기업이 데이터센터 투자를 늘리면 엔비디아 GPU 수요가 올라갑니다. GPU 수요가 올라가면 HBM 수요가 함께 증가하고, HBM을 GPU에 연결하는 첨단 패키징 물량도 늘어납니다. 병목은 GPU 하나에서 생기는 것이 아니라, 이 공급망 어느 한 고리가 끊어져도 전체가 멈추는 구조입니다.
SK하이닉스는 2024년 HBM3 EHBM3 E 양산을 본격화하면서 AI 메모리 시장 점유율을 높였고, 삼성전자도 HBM3 E 공급 확대를 위한 설비투자를 지속 발표했습니다. 두 기업 모두 단순 생산량보다 수율 안정성과 엔비디아 퀄 테스트 통과를 더 중요한 지표로 언급했다는 점이 인상적이었습니다 (출처: SK하이닉스 IR 자료).
제 경험상 이 부분은 좀 다릅니다. 일반적으로 반도체는 생산량이 늘면 가격이 내려간다고 보는 시각도 있는데, HBM은 지금 단계에서는 공급이 수요를 따라가지 못하는 구조입니다. AI 모델 하나가 커질 때마다 GPU에 붙는 HBM 개수도 늘어나고, GPU 출시 주기도 빨라지고 있기 때문입니다. 단순한 메모리 사이클로 보기 어렵다는 생각이 자료를 보면 볼수록 강해졌습니다.
그래서 지금 저는 AI 반도체 뉴스를 볼 때 GPU 신제품 소식보다 HBM 공급 상황을 먼저 확인합니다. HBM 수급이 막히면 AI 서버 전체가 멈출 수 있기 때문입니다. 공급망을 하나의 흐름으로 읽는 기준이 생긴 뒤부터는 개별 기업 주가가 함께 움직이는 이유도 훨씬 선명하게 보이기 시작했습니다.
HBM 시장의 리스크 요인
물론 HBM이 항상 같은 속도로 성장하는 것은 아닙니다. 제가 생각하는 주요 리스크 요인도 정리해 봤습니다.
AI 데이터센터 투자 속도가 예상보다 둔화될 경우 GPU 수요가 꺾이고, HBM 수요도 함께 영향을 받을 수 있습니다. 또 CoWoS(Chip on Wafer on Substrate)처럼 첨단 패키징 기술 자체가 빠르게 진화하고 있기 때문에, 현재 HBM 생산 능력이 미래에도 경쟁 우위를 보장하지는 않습니다. 기술 전환기에는 수율과 공정 경험이 많은 기업이 유리하지만, 후발 주자가 빠르게 따라붙는 가능성도 배제하기 어렵습니다.
자주 묻는 질문
Q. HBM이 일반 D램이랑 뭐가 다른 건가요?
A. 일반 D램은 CPU나 GPU 옆에 별도로 배치되는 반면, HBM은 D램 칩을 수직으로 여러 층 쌓아 TSV(실리콘 관통 전극) 기술로 연결한 구조입니다. 덕분에 데이터 전송 통로가 수십 배 넓어져 대역폭이 최신 DDR5 대비 10배 이상 높습니다. 속도보다 얼마나 많은 데이터를 동시에 주고받을 수 있느냐가 핵심 차이입니다.
Q. HBM 만드는 기업이 SK하이닉스랑 삼성전자밖에 없나요?
A. 현재 양산 수준에서 경쟁력을 갖춘 기업은 SK하이닉스, 삼성전자, 그리고 미국의 마이크론 세 곳입니다. 이 중 SK하이닉스가 엔비디아 GPU용 HBM3E 공급에서 선두를 유지하고 있고, 삼성전자와 마이크론이 추격하는 구도입니다. 진입 장벽이 높아 단기간에 새로운 경쟁자가 등장하기는 어렵다는 것이 현재 업계의 중론입니다.
Q. AI 투자가 줄어들면 HBM 주식도 바로 영향 받나요?
A. 영향을 받을 가능성이 높습니다. HBM 수요는 GPU 수요와 직접 연동되어 있고, GPU 수요는 빅테크의 데이터센터 투자 계획에 달려 있습니다. 다만 AI 인프라 투자는 단기 조정이 있어도 장기 구조적 성장 방향은 유지되고 있다는 점도 함께 고려할 필요가 있습니다. 단기 이슈와 구조적 흐름을 분리해서 보는 것이 중요합니다.
Q. 첨단 패키징이 왜 HBM만큼 중요한 건가요?
A. HBM을 잘 만들어도 GPU와 정밀하게 결합하지 못하면 성능이 제대로 나오지 않습니다. 첨단 패키징 공정은 GPU와 HBM을 극도로 좁은 간격으로 연결하면서도 열 관리와 전력 효율을 동시에 잡아야 합니다. 이 공정의 수율이 낮으면 완제품 AI 서버 공급이 지연되기 때문에, 패키징 역량이 HBM 생산 능력만큼이나 중요한 경쟁 변수로 부각되고 있습니다.
결론
HBM을 처음 접했을 때 저도 그냥 빠른 메모리 정도로 넘겼습니다. 하지만 자료를 하나씩 이어 붙이고 나니 생각이 완전히 달라졌습니다. HBM은 GPU의 연산 속도를 완성하고, AI 공급망 전체의 흐름을 좌우하는 핵심 인프라입니다. GPU 혼자서는 AI 서버가 되지 않는다는 사실이 이제는 가장 중요한 전제 조건처럼 느껴집니다.
지금 저의 기준은 단순합니다. AI 반도체 뉴스를 볼 때 GPU 발표만 따라가지 않고, HBM 수급 상황과 첨단 패키징 투자 흐름을 함께 확인합니다. 이 세 가지가 같은 방향을 가리킬 때 AI 산업의 성장 신호가 가장 선명하게 보였습니다. AI 공급망 전체를 하나의 연결된 흐름으로 읽는 관점, 그것이 HBM이 가르쳐준 가장 큰 변화입니다.