面向極高輸送量、數據密集型應用的記憶體標準“後浪”—HBM

發佈日期:

2023-05-26

流覽次數:

前言

我們在《淺談DDR和LPDDR的淵源》一文中簡單介紹了DRAM和以DRAM為存儲介質的標準DDR和移動DDR兩類標準,還有一類圖形DDR所應用的領域也滲透到我們生活的方方面面,早期圖形DDR更多的是支持案頭渲染和一些圖形相關的應用程序,當下在AI的帶動下已經成為資料中心加速用於雲端訓練和推理的硬體生產力工具,那我們今天就來聊一聊GDDR和HBM。

 

GDDR的演進歷史

面向极高吞吐量、数据密集型应用的内存标准“后浪”—HBM

GDDR是Graphics Double Data Rate的縮寫,為顯卡的一種,GDDR是起初為了顯卡而特別設計的高性能DDR記憶體規格。 後續逐漸發展到一些數據密集型系統(遊戲控制台和高性能計算,包括汽車、AI和深度學習)的應用。 GDDR標準(GDDR6X/6/5X)被架設為點對點(P2P)標準,能够支持高達21Gbps的速率。 現時市面上能看到搭載GDDR2-GDDR6/6X所有類型的顯卡產品,GDDR更新反覆運算的速度很快,GDDR5/5X還沒全面鋪開,最高端顯卡已經應用到GDDR6/6X的產品。

 

GDDR6X在GDDR家族中首次應用了PAM4訊號調製方式,提升了訊號傳輸的效率,能够以更低的時鐘頻率達成同樣的等效頻率。 GDDR6X與GDDR6相比,能够提供更高的能效比。 美光提供的資料顯示,同樣的8顆顯存,等效頻率為21Gbps的GDDR6X顯存的能效比跟14Gbps的GDDR6顯存在每比特能耗上要低15%。 要知道,在此同時GDDR6X還提供了多50%的顯存位寬。

 

HBM的演進歷史

面向极高吞吐量、数据密集型应用的内存标准“后浪”—HBM


HBM是GDDR記憶體的替代品,現時主要用於GPU和加速器。 GDDR記憶體旨在以較窄的通道提供更高的資料速率,進而實現必要的輸送量,而HBM2E記憶體通過8條獨立通道解决這一問題,其中每條通道都使用更寬的數據路徑(每通道128比特),並以3.6 Gbps左右的較低速度運行,HBM3標準則使用16條獨立通道(每通道64比特),速度在翻倍。 囙此,HBM記憶體能够以更低的功耗提供高輸送量,而規格上比GDDR記憶體更小。 HBM2/2E是現時該類別中主流的標準,應用HBM3標準的產品則將在2023年下半年問世。

 

HBM作為顯存的後起之秀,從2013年問世至今已經走過了4代標準,主要需求的客戶也是NVIDIA、英特爾和AMD等國際GPU巨頭。 HBM的主要供應商競爭格局依舊延續了DRAM三巨頭的競爭態勢,根據TrendForce數據,2022年全年SK海力士佔據了HBM出貨量的50%,其次是三星,占40%,美光占10%。 TrendForce預測,今年海力士將鞏固其地位並控制HBM出貨量的53%,而三星和美光的份額將分別下降至38%和9%。 實際上HBM市場仍處於起步階段,因為HBM直到2022年才開始在AI服務器中正式實施,但是隨著科技快速反覆運算適應商業化落地,高性能記憶體模組市場預計將快速增長。


HBM和GDDR,誰更適合這個時代?

 面向极高吞吐量、数据密集型应用的内存标准“后浪”—HBM

圖3:HBM和GDDR最新標準對比


面向极高吞吐量、数据密集型应用的内存标准“后浪”—HBM

圖4:現時推出的搭載HBM和GDDR的GPU產品


從圖3可見,HBM per stack和GDDR per chip的標準參數對比之下,從單體可擴展容量、頻寬、功耗上HBM整體優於GDDR。 海力士HBM3也開始支持片上ECC糾錯,顯著提高了可靠性,相對於GDDR,HBM主要有以下幾個優點:


1.可擴展更大容量:HBM具有可擴展更大容量的特性。 HBM的單層DRAM晶片容量可擴展; HBM通過4層、8層以至12層堆疊的DRAM晶片,可實現更大的存儲容量; HBM可以通過SiP集成多個HBM疊層DRAM晶片,從而實現更大的記憶體容量。


2.更低功耗:由於採用了TSV和微凸塊科技,DRAM裸片與處理器間實現了較短的訊號傳輸路徑以及較低的單接脚I/O速度和I/O電壓,使HBM具備更好的記憶體功耗能效特性。


3.更小體積:在系統集成方面,HBM將原本在PCB板上的DDR記憶體顆粒和CPU晶片一起全部集成到SiP裡,囙此HBM在節省產品空間方面也更具優勢。

 

從圖4可見,GDDR主要應用於電腦(PC)的渲染GPU,終端是PC領域的傳統遊戲和專業視覺化應用。 隨著人工智慧(AI)訓練和推理以及高性能計算的發展,我們看到資料中心對最快記憶體、高頻寬記憶體(HBM)的使用越來越多。 海力士第一版HBM3或許只是過渡方案,達不到最高6.4Gbps,但是哪怕採用GDDR6X的3090 Ti顯卡已經突破1TB/s的大關,但是與馬上問世的HBM3產品還是有5倍的差距。


奎芯佈局LPDDR和HBM介面IP


奎芯科技提供多款優選方案,從IP到Chiplet,加速推動半導體產業,這一直是奎芯的產品願景。 在DDR類介面IP領域,針對實際應用場景和下游客戶需求,奎芯以LPDDR和HBM為切入點,以LPDDR產品來滿足移動設備、汽車電子以及終端AI推理的新增需求,以HBM產品來解决存儲牆瓶頸,滿足日益增長的AI訓練算力增長需求。 此外,繼LPDDR4X成功流片後,奎芯科技LPDDR5X IP於今年5月份已正式提交流片。