新聞亮點(diǎn)：

·         采用業(yè)界首款單晶粒 32Gb LPDDR5X，相較標(biāo)準(zhǔn) RDIMM，功耗降至其 1/3，尺寸亦縮小至其 1/3

·         長(zhǎng)上下文 LLM 推理的首個(gè) token 生成時(shí)間加速 2.3 倍，在獨(dú)立 CPU 應(yīng)用中，每瓦性能提升 3 倍

·         單一模組容量提升 1.33 倍 — 每顆 8 通道服務(wù)器 CPU 可配置 2TB LPDRAM，適用于 AI 及高性能計(jì)算（HPC）場(chǎng)景 

2026 年 3 月 5 日，愛(ài)達(dá)荷州博伊西市 — 美光科技股份有限公司（納斯達(dá)克股票代碼：MU）近日宣布開(kāi)始向客戶(hù)送樣業(yè)界容量領(lǐng)先的 LPDRAM 模塊 256GB SOCAMM2，進(jìn)一步鞏固其在低功耗服務(wù)器內(nèi)存領(lǐng)域的領(lǐng)導(dǎo)地位。依托業(yè)界首款單晶粒 32Gb LPDDR5X 設(shè)計(jì)，這一里程碑式成就為 AI 數(shù)據(jù)中心帶來(lái)變革性突破，提供足以實(shí)現(xiàn)全新系統(tǒng)架構(gòu)的低功耗內(nèi)存容量。

 AI 訓(xùn)練、推理、代理式 AI 和通用計(jì)算的融合，正推動(dòng)更嚴(yán)苛的內(nèi)存需求，并重塑數(shù)據(jù)中心的系統(tǒng)架構(gòu)。現(xiàn)代 AI 工作負(fù)載催生了大模型參數(shù)、擴(kuò)展的上下文窗口及持久性鍵值（KV）緩存的需求，而核心計(jì)算則在數(shù)據(jù)強(qiáng)度、并發(fā)性和內(nèi)存空間方面持續(xù)擴(kuò)展。 

面對(duì)上述工作負(fù)載，內(nèi)存容量、帶寬效率、延遲和能效已成為系統(tǒng)層面的主要瓶頸，直接影響性能、可擴(kuò)展性和總體擁有成本。LPDRAM 融合上述特性的獨(dú)特優(yōu)勢(shì)，在功耗與散熱限制日益嚴(yán)苛的數(shù)據(jù)中心環(huán)境中，成為 AI 及核心計(jì)算服務(wù)器的關(guān)鍵解決方案。美光正與 NVIDIA 攜手合作，共同設(shè)計(jì)高性能內(nèi)存解決方案，以滿(mǎn)足先進(jìn) AI 基礎(chǔ)架構(gòu)的需求。

美光高級(jí)副總裁暨云端存儲(chǔ)事業(yè)部總經(jīng)理 Raj Narasimhan 表示：“美光 256GB SOCAMM2 為 AI 及高性能計(jì)算（HPC）提供更具能效的 CPU 附加內(nèi)存解決方案。此次產(chǎn)品發(fā)布充分展現(xiàn)出美光在技術(shù)與封裝領(lǐng)域的突破，打造業(yè)界容量領(lǐng)先、低功耗、小尺寸的模塊化內(nèi)存解決方案。美光在數(shù)據(jù)中心低功耗內(nèi)存解決方案領(lǐng)域持續(xù)保持領(lǐng)先地位，這一獨(dú)特優(yōu)勢(shì)使我們率先推出單晶粒 32Gb LPDRAM，協(xié)助推動(dòng)業(yè)界加速采用更節(jié)能、更高容量的系統(tǒng)架構(gòu)?！?/p>

專(zhuān)為容量、能效和工作負(fù)載性能優(yōu)化而設(shè)計(jì)

美光的 256GB SOCAMM2 為各種 AI 和通用計(jì)算工作負(fù)載提供更高的內(nèi)存容量、更低的功耗，以及更快的性能。 

·為 AI 服務(wù)器擴(kuò)展內(nèi)存容量：256GB SOCAMM2 容量較前代最高規(guī)格 192GB SOCAMM2 提升三分之一，可為每顆 8 通道 CPU 提供 2TB LPDRAM 容量，從而支持更大的上下文窗口及更復(fù)雜的推理工作負(fù)載。

·功耗更低、尺寸更小：與相同容量的 RDIMM 相比，SOCAMM2 的功耗僅為其三分之一，尺寸亦縮減至三分之一，有效提升機(jī)架密度并降低總體擁有成本。^[1]

·提升推理與核心計(jì)算性能：在統(tǒng)一內(nèi)存架構(gòu)中，與現(xiàn)有解決方案相比，256GB SOCAMM2 用于 KV 緩存卸載時(shí)，可將長(zhǎng)上下文、實(shí)時(shí) LLM 推理的首個(gè) token 生成時(shí)間加速 2.3 倍。^[2]在獨(dú)立 CPU 應(yīng)用中，針對(duì)高性能計(jì)算工作負(fù)載，LPDRAM 的每瓦性能較主流內(nèi)存模塊提升超 3 倍。^[3]

·易維護(hù)、可擴(kuò)展的模塊化設(shè)計(jì)：模塊化 SOCAMM2 設(shè)計(jì)可提升設(shè)備可維護(hù)性、支持液冷服務(wù)器架構(gòu)，并能隨著 AI 與核心計(jì)算內(nèi)存需求的持續(xù)增長(zhǎng)，實(shí)現(xiàn)未來(lái)容量擴(kuò)充。

NVIDIA 數(shù)據(jù)中心 CPU 產(chǎn)品部門(mén)主管 Ian Finder 表示：“先進(jìn) AI 基礎(chǔ)架構(gòu)需要在各個(gè)層面進(jìn)行極致優(yōu)化，才能有效應(yīng)對(duì)嚴(yán)苛的 AI 推理工作負(fù)載對(duì)性能與能效的需求。美光通過(guò) 256GB SOCAMM2，以低于傳統(tǒng)服務(wù)器內(nèi)存的功耗，實(shí)現(xiàn)超大內(nèi)存容量與帶寬的突破，為下一代 AI CPU 提供關(guān)鍵助力?！?/p>

推動(dòng)行業(yè)標(biāo)準(zhǔn)制定，加速低功耗內(nèi)存普及

美光在 JEDEC SOCAMM2 規(guī)范制定過(guò)程中持續(xù)發(fā)揮領(lǐng)導(dǎo)作用，并維持與系統(tǒng)設(shè)計(jì)人員的深度技術(shù)合作，以推動(dòng)下一代數(shù)據(jù)中心平臺(tái)在能效與性能方面實(shí)現(xiàn)全行業(yè)性提升。 

美光現(xiàn)已面向客戶(hù)送樣 256GB SOCAMM2 產(chǎn)品，并提供業(yè)界最全面的數(shù)據(jù)中心 LPDRAM 產(chǎn)品組合，涵蓋 8GB 至 64GB 組件及 48GB 至 256GB 的 SOCAMM2 模塊。

[1] 三分之一的功耗依據(jù)單個(gè) 128GB、128 位總線(xiàn)寬度 SOCAMM2 模塊與兩個(gè) 64GB、64 位總線(xiàn)寬度 DDR5 RDIMM 的功耗瓦數(shù)對(duì)比計(jì)算。三分之一的尺寸依據(jù) SOCAMM2 的面積（ 14x90 mm）與標(biāo)準(zhǔn)服務(wù)器 RDIMM 的面積之比。

[2] 結(jié)果基于美光內(nèi)部測(cè)試，使用 Llama3 70B 模型（FP16 量化）進(jìn)行實(shí)時(shí)推理測(cè)試，測(cè)試配置為：上下文長(zhǎng)度 500K，并發(fā)用戶(hù)數(shù) 16。首 token 響應(yīng)時(shí)延（TTFT）的預(yù)期提升，基于每 CPU 配置 2TB LPDRAM 時(shí)延 0.12 秒，對(duì)比每 CPU 配置 1.5TB LPDRAM 時(shí)延 0.28 秒測(cè)算。有關(guān)測(cè)試條件詳情，請(qǐng)參閱本月稍早發(fā)布的白皮書(shū)：LPDDR at Scale: Enabling Efficient LLM Inference Through High-Capacity Memory。

[3] 美光內(nèi)部測(cè)試使用相同容量的 LPDDR5X 和 DDR5 進(jìn)行 Pot3D 太陽(yáng)物理 HPC 代碼性能測(cè)評(píng)。