快科技11月6日消息,在AI算力需求爆發(fā)的背景下,高性能內(nèi)存HBM的價(jià)格正持續(xù)飆升,SK海力士確認(rèn),明年向NVIDIA供應(yīng)的HBM4單價(jià)約為560美元。
這一價(jià)格不僅高于此前業(yè)內(nèi)預(yù)期的約500美元,而且比目前供應(yīng)HBM3E的約370美元價(jià)格高出50%以上。
面對高端HBM價(jià)格的暴漲,以及中國企業(yè)遭受的出口管制,華為剛開源的技術(shù)或許可以減輕對這種產(chǎn)品的依賴。
日前華為宣布了一項(xiàng)針對AI推理加速的關(guān)鍵技術(shù)UCM推理記憶數(shù)據(jù)管理,并正式將其開源。
UCM的關(guān)鍵創(chuàng)新在于,它可以根據(jù)數(shù)據(jù)的“記憶熱度”,在不同的存儲(chǔ)介質(zhì)中進(jìn)行分級緩存,比如HBM存儲(chǔ)“實(shí)時(shí)記憶數(shù)據(jù)”,DRAM中存儲(chǔ)“短期記憶數(shù)據(jù)”,而SSD則存儲(chǔ)“長期記憶數(shù)據(jù)與外部知識”。

其核心優(yōu)勢在于分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù),充分利用不同存儲(chǔ)介質(zhì)的特性,從而提高HBM的利用率并平衡整體成本。
而開源的關(guān)鍵意義,在于能讓更多開發(fā)者和企業(yè)通過記憶數(shù)據(jù)分級管理,降低對高端HBM的依賴。
華為透露,基于UCM,可實(shí)現(xiàn)首Token時(shí)延高降低90%,系統(tǒng)吞吐大提升22倍,并達(dá)到10倍級上下文窗口擴(kuò)展。
當(dāng)然,UCM不是為了取代,也無法取代HBM,而更像是一種“系統(tǒng)補(bǔ)短板”,把HBM的優(yōu)勢發(fā)揮在更合適的地方,實(shí)現(xiàn)降本增效。

本文鏈接:http://www.yifxia.cn/showinfo-22-187078-0.htmlHBM價(jià)格暴漲:華為開源關(guān)鍵技術(shù)!
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 4199元起!華為Mate 70 Air圖賞搶先看:金絲銀錦配色很搶眼 一眼高端
下一篇: 華為Mate70 Air首次可選CPU:麒麟9020A、麒麟9020B有何區(qū)別 官方客服回應(yīng)