高通發表創新AI架構 將運算核心整合於DRAM之下以提升效能
分類: AI 新品報導 發布時間:
高通公司（Qualcomm）近期公布了一項創新的AI基礎設施解決方案，旨在透過將運算單元堆疊在動態隨機存取記憶體（DRAM）之上，以克服現有AI加速器的效能瓶頸，並期望在數據中心市場與競爭對手抗衡。這項名為「高頻寬運算」（High-Bandwidth Compute, HBC）的技術，預計將於明年（2027年）隨著AI250系列 Dragonfly 機架系統一同推出。
HBC架構的關鍵在於將部分運算邏輯整合至DRAM堆疊的下方，大幅縮短了數據在運算核心與記憶體之間的傳輸路徑。高通執行副總裁Tony Pialis表示，此舉能帶來類似SRAM的效能優勢，同時具備HBM（高頻寬記憶體）堆疊的密度與容量。相較於傳統架構中數據在獨立的記憶體與運算晶片之間頻繁傳輸所消耗的大量電力，HBC架構能顯著降低功耗、減少發熱，並節省昂貴的矽基板成本。
根據高通的說法，AI250系列預計將提供每張卡高達768GB的記憶體容量和133 TB/s的「有效」記憶體頻寬。相較於現有的AI200系列，其有效頻寬預計將提升18倍，而下一代的AI300系列更可望達到54倍的提升。高通強調，HBC架構特別適合處理AI推理中的解碼（decode）環節，因為此階段的運算需求相對較低，但對記憶體頻寬要求極高。透過將運算能力更靠近記憶體，能有效緩解頻寬瓶頸，並在散熱受限的環境下提升效率。
除了硬體上的突破，高通也透過收購AI軟體新創公司Modular，強化其軟體生態系。Modular創辦人之一Chris Lattner是LLVM、Clang及Swift等知名專案的開發者，其開發的Mojo程式語言旨在提供一個高效能、跨平台的AI開發環境，有望幫助高通擺脫對特定硬體平台（如Nvidia的CUDA）的依賴，讓開發者能夠更靈活地部署其AI應用。
儘管HBC架構的技術細節仍待進一步釐清，且Nvidia、AMD等競爭對手也可能在開發類似的近記憶體運算技術，但高通此舉顯示其積極投入數據中心AI基礎設施的決心。預計首批搭載HBC架構的AI250產品將於2027年問世，而第二代平台則預計在2028年推出。