2024年的GPU科技領域的動態看起來非常激動人心！ 輝達、英特爾以及Meta都在不同的方面推出了令人印象深刻的新產品和科技。

輝達的Blackwell B200：這是一款巨大的GPU，內部集成了2080億個電晶體，尺寸是其前一代的兩倍； 採用了定制的兩掩模版極限N4P TSMC工藝進行製造，通過10TBps的晶片到晶片連結連接成為單個GPU； 採用了Chiplet科技，在單個封裝上配備了兩個GPU晶片，並通過高頻寬I/O連結連接； 提供192GB的HBM3E記憶體，記憶體總頻寬為8TB/s。

英特爾的Gaudi 3加速器：這是英特爾子公司Habana Labs的下一代高性能人工智慧加速器。 集成了HBM2e記憶體控制器，每個晶片提供128GB的記憶體，總記憶體頻寬為3.7TB/s。 採用了Chiplet設計，每個晶片配備了兩個計算Die，轉向了具有兩個計算集羣的Chiplet的設計。

Meta的下一代訓練和推理加速器：集成了LPDDR5記憶體控制器，單晶片可擴展128GB LPDDR5記憶體，總記憶體頻寬為204.8GB/s； 採用TSMC 5nm的工藝帶來了90W的功耗表現； 該晶片的架構從根本上側重於為服務排名和推薦模型提供計算、記憶體頻寬和記憶體容量的適當平衡。

小編根據市場上應用的標杆H100，整理了如圖的硬體參數對照表。

可以看到，2024年GPU科技領域的角逐依舊火熱，各大科技巨頭爭相推出新一代的創新產品和科技。 輝達、英特爾以及Meta在AI算力領域展開了一場激烈的競爭，為了讓我們更好地理解這一場景，讓我們先來梳理一下最新的四大趨勢。

NVIDIA B200 and Intel Gaudi 3

Chiplet科技的崛起

從霄龍二代和銳龍三代開始，AMD就採用CPU Die + IO Die的Chiplet組合管道來擴展CPU算力，自此Chiplet科技被廣泛的傳播開來。 本次發佈的NVIDIA B200在單個封裝上配備兩個GPU晶片，據NVIDIA稱，這兩個晶片作為“一個統一的CUDA GPU”運行，可提供完整的效能，其關鍵在於晶片之間的高頻寬I/O連結，NVIDIA將其稱為NV高頻寬介面（NV-HBI:NV-High Bandwidth Interface），並提供10TB/秒的頻寬。 自此，NVIDIA終於在他們的旗艦加速器實現了Chiplet化。 Intel Gaudi 3採用的是台積電5nm工藝，在晶片設計上，Gaudi 3轉向了具有兩個計算集羣的Chiplet的設計，而不是Gaudi 2所採用的單個集群的方案。 這與NVIDIA最近發佈的Blackwell加速器類似，兩個相同的晶片被放置在一個封裝上，並通過高頻寬連結連接，以便為晶片提供統一的記憶體位置空間。 Intel沒有透露連接晶片的晶片到晶片連結的任何重要細節，現實尚不清楚實際上有多少頻寬可用於跨越die。

HBM依舊是AI領域記憶體擴展的主流

NVIDIA B200提供192GB的HBM3E，每個Chiplet與4個HBM3E記憶體堆疊配對，總共8個堆疊，形成8192比特的有效記憶體匯流排寬度。 該晶片的HBM記憶體總頻寬為8TB/秒，每個堆疊的頻寬為1TB/秒，即每個引脚的資料速率為8Gbps。 記憶體總頻寬幾乎是H100記憶體頻寬的2.4倍。

Intel Gaudi 3集成了HBM2e記憶體控制器，與Gaudi 2支持的記憶體類型相同，國內頭部AI企業現有產品基本也是集成HBM2e內容。 由於其堅持使用HBM2e，可用的最高容量堆疊為16GB，為加速器提供了總共128GB的記憶體。 其時鐘頻率為3.7Gbps/pin，總記憶體頻寬為3.7TB/秒。 每個Gaudi 3晶片都提供4個HBM2e PHY，使晶片的記憶體堆疊總數達到8個。

PCIe 6.0的應用

隨著GPU算力的不斷提升，對於資料傳輸速率的需求也日益增長。 Astera Labs展示了PCIe 6.0連接科技，應用於輝達的Blackwell B200，為其提供了更高的資料傳輸速率和更强的擴展性能。 這標誌著PCIe 6.0在GPU平臺上的首次落地，為未來的GPU科技發展奠定了堅實的基礎。

光互連與電互聯的並存

輝達還公佈了由GB200驅動的GB200 NVL72，這是一個多節點、液冷、機架式系統，適用於計算最密集的工作負載。 它結合了36個Grace Blackwell超級晶片，其中包括72個Blackwell GPU和36個Grace CPU，通過第五代NVLink互連。 為了支持下一代AI加速晶片，Meta也開發了一個大型機架式系統，最多可容納72個加速器。 它由三個主機殼組成，每個主機殼包含12個板，每個板包含兩個加速器。

輝達發佈的GB200 NVL72這個架構引發了光互連和銅互連的爭議。 引用資訊平權的總結就是GB200 NVL72通過Chiplet、網絡、近存等等環節升級帶來的系統升級，打造了一個高度濃縮和緊耦合的超節點，且因為壓縮到一個rack，用銅替代了之前256卡互聯的網絡成本，實現了超高性價比。 光互連和電互聯是緊密連繫、互相補充的，所謂的“光進銅退”，可能只是一個美好的願景，兩者會長期共存，負責不同尺度下的訊號互聯。 計算與存儲晶片的高速電信號必須先在package上進行一段距離的傳輸，再通過光學IO互聯到更遠的節點處。 AI的爆發，導致晶片間的互聯需求更加重要。 長遠看，電晶片與光引擎的距離會越來越短，聯系會愈加緊密。

在AI浪潮的推動下，晶片間的互聯需求愈發凸顯其重要性。 輝達發佈的GB200 NVL72以及Meta的下一代加速晶片，均對光互連與電互聯科技進行了深入的探索。 這些科技的實現離不開先進的IP支持。 在這個背景下，奎芯科技在介面IP和Chiplet領域的研發工作顯得尤為關鍵。

奎芯科技作為晶片產業鏈上游的關鍵技術企業，已經在短短的時間內推出了多個自研高速介面IP，如LPDDR5X、HBM、UCIe等，並在知名廠商的工藝節點上得到了驗證和量產。 這些IP和Chiplet產品的成功應用，不僅豐富了資料中心、汽車電子、物聯網和消費類電子等領域的解決方案，更為GPU和AI科技的發展提供了强有力的支持。

展望未來，隨著AI科技的不斷突破和GPU科技的不斷進步，對介面IP和Chiplet的需求將更加旺盛。 奎芯科技將繼續加大在介面IP和Chiplet領域的研發投入，推出更先進的IP產品，以助力AI科技的發展。