2026年3月3日，美光科技（Mciron）宣布通過(guò)向客戶發(fā)售業(yè)內(nèi)最大容量LPDRAM模塊——256GB SOCAMM2樣品，進(jìn)一步擴(kuò)大了其在低功耗服務(wù)器內(nèi)存領(lǐng)域的領(lǐng)先地位。這一里程碑得益于業(yè)界首個(gè)單體32Gb LPDDR5X設(shè)計(jì)，代表了AI數(shù)據(jù)中心的變革性進(jìn)步，提供低功耗內(nèi)存容量，解鎖新的系統(tǒng)架構(gòu)。

當(dāng)然，人工智能訓(xùn)練、推理、代理人工智能和通用計(jì)算的融合正在推動(dòng)更高要求的內(nèi)存需求，并重塑數(shù)據(jù)中心系統(tǒng)架構(gòu)?，F(xiàn)代AI工作負(fù)載驅(qū)動(dòng)大型模型參數(shù)、寬廣的上下文窗口和持久鍵值（KV）緩存，而核心計(jì)算則在數(shù)據(jù)強(qiáng)度、并發(fā)性和內(nèi)存占用方面持續(xù)擴(kuò)展。

在這些工作負(fù)載中，內(nèi)存容量、帶寬效率、延遲和能效已成為主要的系統(tǒng)級(jí)限制，直接影響性能、可擴(kuò)展性和總擁有成本。LPDRAM獨(dú)特的這些特性組合使其成為AI和核心計(jì)算服務(wù)器在日益耗電和熱量受限的數(shù)據(jù)中心環(huán)境中的基石解決方案。美光正與英偉達(dá)合作，共同設(shè)計(jì)滿足先進(jìn)人工智能基礎(chǔ)設(shè)施需求的高端內(nèi)存。

“美光的256GB SOCAMM2產(chǎn)品，使AI和高性能計(jì)算（HPC）都能實(shí)現(xiàn)最節(jié)能的CPU附加內(nèi)存解決方案。今日的宣布凸顯了美光在技術(shù)和封裝方面的進(jìn)步，旨在提供業(yè)內(nèi)最高容量、最低功耗、體積最小的模塊化內(nèi)存解決方案，”美光云存儲(chǔ)業(yè)務(wù)部高級(jí)副總裁兼總經(jīng)理Raj Narasimhan表示?！拔覀?cè)跀?shù)據(jù)中心應(yīng)用低功耗內(nèi)存解決方案方面的持續(xù)領(lǐng)先地位，使我們成為首家推出32Gb單片LPDRAM芯片的廠商，助力推動(dòng)行業(yè)采用更節(jié)能、高容量系統(tǒng)架構(gòu)?！?/p>

設(shè)計(jì)目標(biāo)是容量、能效和工作負(fù)載性能優(yōu)化

美光的256GB內(nèi)存SOCAMM2為多種AI和通用計(jì)算工作負(fù)載提供更高的內(nèi)存容量、顯著更低的功耗和更快的性能。

1、AI服務(wù)器內(nèi)存容量擴(kuò)展：

256GB SOCAMM2 SOCAMM2比之前最高容量192GB多出三分之一，為每個(gè)8通道CPU提供2TB的LPDRAM容量，支持更大的上下文窗口和復(fù)雜的推理工作負(fù)載。

2、更低功耗和更小的空間占用：

SOCAMM2 與同類(lèi) RDIMM 相比，占用了三分之一的功耗，同時(shí)僅占用三分之一的占地面積，從而提升機(jī)架密度并降低總擁有成本。

3、推理和核心計(jì)算性能提升：

在統(tǒng)一內(nèi)存架構(gòu)中，256GB SOCAMM2在用于KV緩存卸載時(shí)，能將首個(gè)令牌時(shí)間（TTFT）提升超過(guò)2.3倍，用于KV緩存卸載。

基于美光內(nèi)部測(cè)試結(jié)果顯示，使用Llama3 70B模型（帶FP16量化），使用50萬(wàn)上下文長(zhǎng)度和16名并發(fā)用戶進(jìn)行實(shí)時(shí)推理。預(yù)計(jì)TTFT延遲的改進(jìn)基于每CPU 2TB LPDRAM延遲0.12秒，而每CPU 1.5TB LPDRAM延遲為0.28秒。即便是面對(duì)100萬(wàn)上下文長(zhǎng)度，具有2TB LPDRAM的系統(tǒng)依然可以提供更快的TTFT。

在獨(dú)立CPU應(yīng)用中，LPDRAM在高性能計(jì)算工作負(fù)載下，每瓦性能比主流內(nèi)存模塊高出3倍以上。

4、模塊化設(shè)計(jì)以提升可維修性和可擴(kuò)展性：

模塊化SOCAMM2設(shè)計(jì)提升了可維修性，支持液冷服務(wù)器架構(gòu)，并隨著AI和核心計(jì)算內(nèi)存需求的不斷增長(zhǎng)，實(shí)現(xiàn)未來(lái)容量擴(kuò)展。

“先進(jìn)的人工智能基礎(chǔ)設(shè)施需要在每一層都進(jìn)行極其優(yōu)化，以最大化性能和效率以應(yīng)對(duì)高負(fù)載的人工智能推理工作負(fù)載，”英偉達(dá)數(shù)據(jù)中心CPU產(chǎn)品主管伊恩·芬德表示。“美光在實(shí)現(xiàn)大容量?jī)?nèi)存和帶寬方面取得的成就，其功耗低于傳統(tǒng)服務(wù)器內(nèi)存，達(dá)成了256GB SOCAMM2，正在推動(dòng)下一代AI處理器的發(fā)展。”

推動(dòng)行業(yè)標(biāo)準(zhǔn)并加速低功耗存儲(chǔ)器的普及

美光繼續(xù)在JEDEC SOCAMM2規(guī)范定義中發(fā)揮領(lǐng)導(dǎo)作用，并與系統(tǒng)設(shè)計(jì)師保持深度技術(shù)合作，推動(dòng)下一代數(shù)據(jù)中心平臺(tái)在全行業(yè)范圍內(nèi)提升能效和性能。

△美光內(nèi)部測(cè)試顯示，使用256GB LPDRAM模塊的Spark SVM的通用服務(wù)器可以實(shí)現(xiàn)高達(dá)4倍的加速。

美光現(xiàn)已開(kāi)始發(fā)貨其256GB SOCAMM2的客戶樣品，并提供業(yè)內(nèi)最廣泛的數(shù)據(jù)中心LPDRAM產(chǎn)品組合，涵蓋8GB至64GB組件以及48GB至256GB SOCAMM2模塊。