간략한 요약
이 비디오는 차세대 HBM(고대역폭 메모리) 기술의 발전 방향과 그 중요성에 대해 설명합니다. 김정호 카이스트 교수님은 HBM 기술이 AI 반도체 시장에서 승패를 가를 핵심 요소가 될 것이라고 강조하며, 앞으로 15년에서 30년 동안 HBM이 반도체 산업을 주도할 것이라고 예측합니다.
- HBM 기술은 AI 시대에 맞춰 성능이 1,000배 이상 향상되어야 합니다.
- 삼성전자와 SK하이닉스는 HBM 기술 경쟁에서 주도권을 잡기 위해 혁신적인 기술 개발에 집중해야 합니다.
- 미래에는 HBM을 중심으로 한 컴퓨터 구조로 변화할 가능성이 높습니다.
광고 및 소개
방송 시작 전, 인터넷 가입 시 혜택을 받을 수 있는 팁을 소개하며, 작은 이익을 놓치지 않는 삶의 자세가 중요하다고 강조합니다. HBM(고대역폭 메모리) 기술이 AI 반도체에서 매우 중요하며, 삼성전자는 하이닉스를 따라잡기 위해 HBM 분야의 전문가인 김정호 카이스트 교수님을 모시고 차세대 HBM 기술에 대한 이야기를 나눕니다.
HBM의 중요성 및 미래
김정호 교수는 앞으로 반도체 승패가 HBM에 달려 있으며, HBM 기술 발전을 위한 준비가 필요하다고 주장합니다. HBM4 설계를 시작으로 HBM8까지 발표할 예정이며, 향후 15~30년간 HBM이 반도체 산업을 주도할 것이라고 예측합니다. 기업들은 HBM에 승부를 걸어야 하며, 개인 투자자들은 HBM 관련 분야에 관심을 가질 필요가 있다고 조언합니다.
AI 시대와 HBM의 역할
현재 텍스트 위주의 데이터 처리에서 벗어나 영상 중심의 데이터 처리가 중요해짐에 따라 HBM의 성능이 1,000배 이상 향상되어야 한다고 강조합니다. AI가 생성하는 영상 데이터 양이 폭발적으로 증가하면서 HBM의 대역폭과 용량이 더욱 중요해질 것이라고 설명합니다. 미래에는 유튜브 동영상도 AI가 만들게 될 것이며, 이를 위해서는 HBM 기술의 발전이 필수적이라고 주장합니다.
HBM의 현재 도전 과제
샘 알트만이 GPU가 녹아내리고 있다고 언급했지만, 실제로는 GPU보다 HBM이 더 바쁘게 작동하고 있다고 지적합니다. HBM은 데이터를 읽고 계산하고 저장하는 과정을 반복하면서 병목 현상이 발생하며, 이를 해결하기 위해서는 HBM의 양과 대역폭을 늘려야 한다고 설명합니다. 현재 컴퓨터 구조에서는 계산하는 부분과 메모리가 분리되어 있어 HBM의 역할이 더욱 중요하다고 강조합니다.
HBM 기술의 핵심
HBM은 밀도를 높여 더 많은 반도체를 만드는 것보다 병목 현상을 해결하는 데 집중해야 한다고 주장합니다. AI 시대에는 HBM에 얼마나 많은 메모리를 집어넣을 것인지가 중요하며, HBM은 GPU와 데이터를 주고받는 통로를 넓히는 방식으로 발전해야 한다고 설명합니다. HBM은 고속도로처럼 데이터를 빠르게 전달하는 역할을 하며, 차선, 속도, 용량을 모두 늘려야 한다고 강조합니다.
미래 HBM 기술 로드맵
미래에는 유튜브가 AI가 만든 영상으로 대체될 것이며, AI가 인간의 인식을 지배하게 될 것이라고 예측합니다. 이를 위해서는 HBM의 모델 사이즈, 에이전트, 배치, 밴드위스, 스택, 차선, 메모리 용량, 전력 소모, 비용이 모두 커져야 한다고 설명합니다. 현재 컴퓨터는 계산 장치와 메모리의 생산 방식, 인프라, 구조가 다르기 때문에 HBM이 병목 현상을 해결하는 데 중요한 역할을 할 것이라고 주장합니다.
HBM 기술의 구조 및 설계
HBM은 프로세서와 메모리 사이의 대역폭을 높이기 위해 1024개의 라인을 사용하며, 메모리 용량을 키우기 위해 위아래로 쌓는 구조를 가지고 있다고 설명합니다. HBM은 디램과 GPU 사이에 데이터를 주고받는 교통 정리를 하는 로직 다이가 있으며, 이를 연결하는 기판으로 실리콘을 사용한다고 설명합니다. HBM 설계 시 엘리베이터를 타는 것처럼 데이터 통로를 안락하게 만들고, 지진이나 화재에도 안전하게 작동하도록 설계해야 한다고 강조합니다.
HBM의 온도 관리 및 신뢰성
HBM은 0과 1의 디지털 신호를 깨끗하게 전달해야 하며, 노이즈를 최소화해야 한다고 설명합니다. HBM은 지진이나 화재에도 흔들리지 않고, 열을 균일하게 분산시켜야 하며, 수돗물이 1층과 100층에서 동일하게 나오도록 설계해야 한다고 강조합니다. GPU가 뜨거워지면 HBM으로 열이 전달되어 전자가 튀어나갈 수 있으므로, HBM의 온도 관리가 매우 중요하다고 설명합니다.
HBM 기술 발전 방향
HBM은 밴드위스, 속도, 라인 개수, TSV 개수, 본딩 개수, 메모리 용량 등을 높이는 방향으로 발전해야 한다고 설명합니다. HBM은 디램뿐만 아니라 LPDDR, 플래시 메모리 등 다양한 메모리를 쌓는 방식으로 발전할 것이며, HBM 중심으로 컴퓨팅 구조가 변화할 것이라고 예측합니다. HBM은 GPU 기능, 실리콘 인터포저, 유리 기판, 액체 냉각, 3D 통합 등 다양한 기술을 융합하는 방향으로 발전해야 한다고 강조합니다.
HBM 기술 로드맵 및 미래 전망
HBM은 2038년까지 밴드위스, 차선 속도, 차선 개수, 전력 소모량 등이 지속적으로 증가할 것이라고 예측합니다. HBM은 마이크로 범퍼 방식에서 카파-투-카파 다이렉트 본딩 방식으로, 액체 냉각에서 이머전 쿨링 방식으로, 반도체 외부 냉각에서 내부 냉각 방식으로 발전할 것이라고 설명합니다. HBM은 GPU 기능, LPDDR 메모리, SSD, CXL 등 다양한 기능을 통합하는 방향으로 발전할 것이라고 강조합니다.
HBM 기술 경쟁 및 생태계
SK하이닉스는 HBM 베이스 다이 설계를 엔비디아와 함께하고, TSMC 공정을 사용할 것으로 예상됩니다. 삼성전자는 GPU 파운드리, HBM 베이스 다이 파운드리, HBM, 패키징 등 모든 것을 자체적으로 해결해야 하므로, 새로운 에코시스템을 구축해야 한다고 설명합니다. HBM4에서는 GPU와 HBM 사이의 차선이 두 배로 늘어나고, 차속이 빨라지면서 HBM 베이스 다이의 성능이 더욱 중요해질 것이라고 강조합니다.
HBM 중심의 컴퓨팅
HBM은 LPDDR 메모리를 옆에 깔아놓고, CPU 관여 없이 HBM에 데이터를 채우는 방식으로 발전할 것이라고 예측합니다. HBM은 메모리 타운처럼 커지는 시발점이 될 것이며, HBM과 LPDDR이 서로 궁합이 맞아야 사업적으로 상승 효과를 낼 수 있다고 설명합니다. HBM은 AI 반도체의 중심이 될 것이며, HBM 모양의 케이크를 만들 정도로 HBM에 몰입해야 한다고 강조합니다.
HBM 기술 발전의 기회와 위협
HBM 기술 발전은 메모리 업체에게 기회가 되지만, 경쟁이 더욱 치열해질 것이라고 예측합니다. GPU와 메모리가 합쳐지면서 프로세서 기업과 메모리 기업 간의 헤게모니 전쟁이 벌어질 수 있으며, 서플라이 체인 속에서 역할만 하는 비즈니스 모델은 오래가지 못할 것이라고 경고합니다. HBM이 CPU 역할을 하려면 소프트웨어가 바뀌어야 하며, 쿠다와 같은 컴파일러를 개발할 수 있는 경제력과 인력이 필요하다고 설명합니다.
HBM 기술의 진화
HBM5에서는 GPU 기능을 맨 위로 빼고 냉각을 강화하며, LPDDR과 SSD를 CXL로 연결하여 메모리 네트워크를 구축할 것이라고 예측합니다. HBM은 TSV 엘리베이터를 곳곳에 배치하여 데이터 전송, 전력 공급, 열 방출 기능을 강화할 것이며, 카파-투-카파 본딩 위에 서멀 비아를 연결하여 열 고속도로를 만들 것이라고 설명합니다. HBM6에서는 글래스 기판을 사용하여 크기를 확장하고, HBM7에서는 플래시 메모리를 쌓아 용량을 늘릴 것이라고 강조합니다.
미래 컴퓨터 구조
미래에는 HBM 안에 CPU와 GPU를 집어넣어 CPU와 GPU를 왕따시키는 구조로 변화할 것이라고 예측합니다. HBM은 위아래로 냉각시키고, 플래시 메모리를 쌓아 우주선과 같은 형태가 될 것이며, 컴퓨터 구조가 완전히 혁신될 것이라고 설명합니다. HBM 기술은 아파트와 지하철처럼 공간 효율성을 높이는 방향으로 발전할 것이며, AI 시대에 맞춰 데이터 트래픽을 줄이는 데 기여할 것이라고 강조합니다.
결론 및 향후 과제
HBM 기술은 전기를 많이 쓰고, 열을 많이 내고, 비용이 비싸다는 단점이 있지만, AI 시대를 꿈꾸는 사람들에게는 필수적인 기술이라고 주장합니다. HBM 기술이 발전하면 유튜브 영상 제작, 정신 노동, 육체 노동 등 다양한 분야에서 AI가 활용될 것이라고 예측합니다. HBM 기술은 80년대 초반 디램을 시작했던 것처럼 우리나라를 보존하고 살리는 세 가지 요소 중 하나가 될 수 있다고 강조합니다.
