2月22日消息,春節(jié)期間國(guó)產(chǎn)AI大模型輪番登場(chǎng),除了DeepSeek V4還在低調(diào)之外,幾家熱門模型都來(lái)了,其中智譜的GLM-5是其中熱度最高的之一。
從智譜官網(wǎng)介紹來(lái)看,GLM-5重點(diǎn)就是提升編程與智能體能力,其參數(shù)量達(dá)到了7440億,是上代GLM-4.X的2倍左右,性能提升很明顯。
此前有海外的AI博主測(cè)試其代理編程能力世界第一,綜合編程能力世界第三,僅次于Opus 4.6及Gemini 3 Pro,但超越了Opus 4.5。
發(fā)布之后由于太受歡迎,導(dǎo)致GLM-5需求暴漲,甚至導(dǎo)致算力不夠,用戶體驗(yàn)下滑,為此智譜還發(fā)布了道歉信,并給出了補(bǔ)償方案,其能力表現(xiàn)可見一斑。

今天智譜還發(fā)布了GLM-5大模型的技術(shù)報(bào)告,特別提到了性能提升主要來(lái)自于四大技術(shù)創(chuàng)新,具體如下:
1、引入DSA稀疏注意力機(jī)制(DeepSeek Sparse Attention, DSA),極大降低了訓(xùn)練與推理成本。
此前的GLM-4.5依賴標(biāo)準(zhǔn)MoE架構(gòu)提升效率,而DSA機(jī)制則使GLM-5能夠根據(jù)Token的重要性動(dòng)態(tài)分配注意力資源。在不折損長(zhǎng)上下文理解和推理深度的前提下,算力開銷得以大幅削減。
得益于此,智譜將模型參數(shù)規(guī)模擴(kuò)展至 744B,同時(shí)將訓(xùn)練Token規(guī)模提升至28.5T。
2、構(gòu)建全新的異步RL基礎(chǔ)設(shè)施
基于GLM-4.5時(shí)期 slime 框架“訓(xùn)練與推理解耦”的設(shè)計(jì),智譜的新基建進(jìn)一步實(shí)現(xiàn)了“生成與訓(xùn)練”的深度解耦,將GPU利用率推向極致。系統(tǒng)支持模型開展大規(guī)模的智能體(Agent)軌跡探索,大幅減緩了以往拖慢迭代速度的同步瓶頸,讓RL后訓(xùn)練流程的效率實(shí)現(xiàn)了質(zhì)的飛躍。
3、提出全新的異步Agent RL算法
該算法旨在全面提升模型的自主決策質(zhì)量。GLM-4.5曾依靠迭代自蒸餾和結(jié)果監(jiān)督來(lái)訓(xùn)練Agent;而在GLM-5中,研發(fā)的異步算法使模型能夠從多樣化的長(zhǎng)周期交互中持續(xù)學(xué)習(xí)。
這一算法針對(duì)動(dòng)態(tài)環(huán)境下的規(guī)劃與自我糾錯(cuò)能力進(jìn)行了深度優(yōu)化,這也正是GLM-5能夠在真實(shí)編程場(chǎng)景中表現(xiàn)卓越的底層邏輯。
4、全面擁抱國(guó)產(chǎn)算力生態(tài)
從模型發(fā)布伊始,GLM-5就原生適配了中國(guó)GPU生態(tài)。智譜已完成從底層內(nèi)核到上層推理框架的深度優(yōu)化,全面兼容七大主流國(guó)產(chǎn)芯片平臺(tái):華為昇騰、摩爾線程、海光、寒武紀(jì)、昆侖芯、天數(shù)智芯與燧原。
據(jù)介紹,GLM-5在單臺(tái)國(guó)產(chǎn)算力節(jié)點(diǎn)上的性能表現(xiàn),已足可媲美由兩臺(tái)國(guó)際主流GPU組成的計(jì)算集群,不僅如此,在長(zhǎng)序列處理場(chǎng)景下,其部署成本更是大幅降低了 50%。


