GPU용 HBF 지연 줄이는 슬립스트림 공개
최근 30일 조회수 —좋아요 —핵심 요약
조지아공대·엔비디아·스탠퍼드 연구진이 40MB 버퍼로 이상적 HBF 성능의 92.4%를 구현했다.

조지아공대(Georgia Tech)·엔비디아 리서치(NVIDIA Research)·스탠퍼드대 연구진이 낸드 플래시 기반 고대역폭 플래시(HBF)의 긴 읽기 지연시간과 SRAM 버퍼 부담을 줄이는 GPU 메모리 기술 ‘슬립스트림(SlipStream)’을 공개했다. 연구진은 40MB 스테이징 버퍼를 적용한 슬립스트림이 HBM 수준 지연시간을 가정한 이상적 HBF 성능의 92.4%를 냈다고 밝혔다.1
HBF는 고대역폭 메모리(HBM)의 DRAM 다이를 낸드 플래시로 바꿔 비슷한 읽기 대역폭에서 최대 16배 용량을 제공한다. 다만 읽기 지연시간이 약 20마이크로초(μs)로 HBM의 20배에 달해, 요청이 발생할 때마다 HBF에 접근하면 대규모언어모델(LLM) 추론 속도가 최대 12.8배 느려질 수 있다. 기존 캐시라인 프리페처가 이 지연을 가리려면 처리 중인 요청을 추적하는 상태 정보도 20배 더 필요하다.
슬립스트림은 소프트웨어와 하드웨어를 함께 설계한 프리페처다. 소프트웨어가 데이터 독립적인 LLM 커널에서 반복되는 가중치 페이지 요청 순서를 프로파일링한 뒤, 비차단 STAGE 명령으로 이 순서를 재생하는 스테이징 워프를 삽입한다. 하드웨어에서는 스테이징 워프가 생산자, 작업 워프가 소비자 역할을 한다. 4KB 페이지를 추적하고 페이지가 HBF에서 돌아올 때만 버퍼 공간을 배정해, 버퍼 크기가 미처리 요청량에 따라 커지는 문제도 줄였다.
7개 밀집 모델(16~800GB) 평가에서 기존 텐서 스트리밍 설계 H3는 320MB 버퍼로 이상적 성능의 43.1%를 기록했다. 슬립스트림은 16MB 버퍼에서도 40MB 구성보다 성능이 4% 이내로 낮았으며, 버퍼 용량은 H3의 20분의 1이었다. 혼합전문가(MoE) 모델에서는 40MB 버퍼로 이상적 성능의 91.2%에 도달했다. 다만 이 수치는 연구진이 논문에서 제시한 평가 결과로, 실제 GPU 적용이나 양산 여부는 자료에 나오지 않았다.
Footnotes
-
Semiconductor Engineering, “Reducing High-Bandwidth Flash Latency In GPU Systems (Georgia Tech, Nvidia, Stanford)” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Reducing High-Bandwidth Flash Latency In GPU Systems (Georgia Tech, Nvidia, Stanford) — Semiconductor Engineering · 자료: 2026. 11. 17.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.