김정호 카이스트 교수가 3일 서울 중구 프레스센터에서 'HBF 설명회'를 열고, HBF 기술 및 전략을 설명했다./사진제공=머니투데이방송

AI 추론이 본격화되면서 데이터센터의 병목이 '연산'에서 '메모리'로 빠르게 이동하고 있다. 동시사용자수가 늘고 롱 컨텍스트(긴 입력 토큰) 등이 늘면서, GPU 옆 고대역폭메모리(HBM)만으로는 감당이 어려운 구간이 나타나고 있다는 분석이다. 이 틈을 메우기 위한 해법으로 김정호 KAIST 전기및전자공학부 교수는 HBM의 설계 철학을 낸드플래시에 적용한 HBF를 차세대 해법으로 제시했다. 김 교수는 'HBM의 아버지'로 불린다.

김 교수는 3일 서울 중구 프레스센터에서 열린 'HBF 기술 개발 설명회'에서 "GPU 중심의 혁신이 구조적 한계에 직면했다"고 지적했다. 그는 "GPU는 여러개를 병렬로 연결하는데 한계가 있다"며 "GPU 간 통신 성능 때문에 일정 규모 이상의 확장이 어렵다"고 설명했다.

반면 메모리는 HBM처럼 다수의 스택을 연결해 지속적으로 끌어올릴 수 있어, 향후 AI 반도체 성능 향상의 핵심 축이 될 수 있다고 분석했다. 김 교수는 "AI 연산량이 폭증하는 상황에서 GPU 성능만으로는 한계가 분명하다"며 "앞으로는 메모리 혁신이 반도체 발전을 이끌 것"이라고 말했다.

HBM의 가장 큰 한계는 용량이다. HBM은 GPU 바로 옆에서 초고속 데이터 처리를 담당하지만, 데이터 양에는 물리적 제약이 있다. 김 교수는 연구실 시뮬레이션 결과를 예로 들며, 대규모 AI 모델과 긴 콘텍스트 환경에서는 HBM만으로는 병목을 피하기 어렵다고 설명했다.

김 교수는 현재의 'GPU-HBM' 구조에 HBF를 추가한 'GPU-HBM-HBF' 구조를 제안했다. HBF가 대용량 데이터를 맡고, HBM은 고속 연산을 보조하는 방식으로 역할을 분담하면 전체 시스템 효율을 높일 수 있다는 설명이다.

HBF의 핵심은 생태계 진입장벽을 낮추는 설계 철학이다. 김 교수는 "HBM에서 최대한 그대로 가져와, 외부에서 보기엔 HBM인지 HBF인지 모르게 만드는게 목표"라고 설명했다. 패키징, 연결 방식은 HBM과 유사하게 가져가되, 소프트웨어는 읽기 쓰기 시간과 횟수 제약만 조절하면 되도록 만들어, GPU 입장에서 메모리 종류를 '의식하지 않는' 구조를 만든다는 것이다.

이는 곧 HBM 중심 생태계가 큰 변화없이 HBF를 받아들일 수 있도록 하겠다는 구상이다. 김 교수는 "HBM은 '시험장 옆 책장(바로 뽑아보는 서고)'이라면, HBF는 '도서관 서가(느리지만 많은 책을 보관'에 가깝다"며 "추론이 '오픈북'처럼 길어질 수록 책장을 HBM만으로 채우기 어렵고 '도서관급' 메모리 계층이 필수가 된다"고 비유했다.

김 교수는 HBF가 HBM의 연장선인만큼, HBM을 이미 잘하는 업체가 HBF로도 확장하기 유리하다고 설명했다. HBM에서 축적된 기술을 그대로 확장할 수 있는만큼, HBM 경쟁력을 가진 기업이 HBF에서도 유리한 위치를 차지할 수 있다는 설명이다.

그는 "이 같은 구조에서는 삼성전자와 SK하이닉스가 가장 유리하다"며 "HBM에서 쌓은 경쟁력으로 HBF까지 확장하면, AI 추론 시대 메모리 시장의 주도권을 잡을 수 있다"고 말했다. 양 사는 2027년 공개를 목표로 HBF 기술 개발을 진행 중이다.

한편 김 교수는 빅테크의 태도 차이도 언급했다 그는 HBM에서 시장 지배력을 가진 엔비디아가 HBF 채택에 소극적이라고 봤다. 반면, 추격자인 구글과 AMD는 HBM 의존을 낮추는 새로운 기술을 더 적극적으로 검토할 여지가 있다고 평가했다.

이유나 머니투데이방송 MTN 기자