成人免费午夜在线观看,伊人久久精品,一区二区三区精品

那能不能根據(jù)記憶熱度，在 HBM、DRAM、SSD等存儲(chǔ)介質(zhì)中分級(jí)緩存數(shù)據(jù)，讓模型能記住的KV Cache數(shù)據(jù)更多，同時(shí)能更智能、更快速的調(diào)用數(shù)據(jù)？就像人類(lèi)一樣，可以把“記憶”放在大腦、書(shū)本和電腦等不同地方，按需快速調(diào)取。

華為這次推出的 “黑科技”UCM就是類(lèi)似的思路。

UCM的全稱(chēng)是“推理記憶數(shù)據(jù)管理器”（ Unified Cache Manager ），它 是一款以 KV Cache為中心的推理加速套件，融合了多類(lèi)型緩存加速算法工具， 可以 分級(jí)管理推理過(guò)程中產(chǎn)生的 KV Cache記憶數(shù)據(jù)，擴(kuò)大推理上下文窗口，以實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token推理成本。

比如為了解決 “推得慢”的問(wèn)題，UCM將 歷史已處理過(guò)的結(jié)果、歷史對(duì)話(huà)、語(yǔ)料庫(kù)、 RAG知識(shí)庫(kù)的數(shù)據(jù)以KV Cache的形式緩存至第三層的高性能外置共享存儲(chǔ)上，遇到已推理過(guò)、已緩存過(guò)的信息 不用再重新推理， 而是只用從外置存儲(chǔ)中查詢(xún)并調(diào)用即可，實(shí)現(xiàn)大幅推理加速，將首 token延遲降低90% ， 也節(jié)省了 token by token的時(shí)間。

有了這種能力，大模型還可以記住更多的歷史內(nèi)容和對(duì)話(huà)，不用再 “重復(fù)勞動(dòng)”，以前生成內(nèi)容需要10秒，現(xiàn)在可能1秒就能搞定，顯著改善推理體驗(yàn)。

這還不是這項(xiàng) “黑科技”的全部。

關(guān)注大模型的都知道，隨著推理任務(wù)越來(lái)越長(zhǎng)，長(zhǎng)序列推理讓大模型常常 “只有七秒鐘記憶”，比如在分析一篇萬(wàn)字長(zhǎng)文時(shí)，由于HBM容量有限，緩存到前2000字可能就裝不下了，這就容易出現(xiàn)推理失敗、關(guān)鍵關(guān)聯(lián)信息丟失的情況，形成“推不動(dòng)”的困境。

華為是如何解決的？

UCM通過(guò)一系列智能算法突破，對(duì)長(zhǎng)序列內(nèi)容進(jìn)行切片，并把已處理的切片卸載到更大的DRAM或外置共享存儲(chǔ)，相當(dāng)于擴(kuò)充了HBM的容量，讓上下文窗口擴(kuò)大10倍、滿(mǎn)足長(zhǎng)序列推理需求。換言之，模型的“記憶能力”從“記3頁(yè)紙”提升至“記30頁(yè)紙”。

更關(guān)鍵的是， 華為采用了注意力稀疏及相關(guān)技術(shù)，可以識(shí)別大量 KV Cache數(shù)據(jù)的重要程度、相關(guān)性和熱度，將重要的/不重要的、相關(guān)的/不相關(guān)的數(shù)據(jù) ， 分層分級(jí)地進(jìn)行緩存并流動(dòng)。在下一次推理過(guò)程中，只需要把關(guān)鍵的、合適的向量提取出來(lái)即可，這也就降低了向量推理過(guò)程中向量的數(shù)量，提升整體吞吐量。

“ 面向推理加速的 KV數(shù)據(jù)，一定會(huì)有熱/溫/冷，不可能都用最貴的介質(zhì)，去存儲(chǔ)所有數(shù)據(jù)。我們做存儲(chǔ)系統(tǒng)有很深的體會(huì)，每類(lèi)數(shù)據(jù)都有這個(gè)特征，都有一個(gè)生命周期，一定會(huì)用多層介質(zhì)解決性能問(wèn)題，又平衡成本問(wèn)題。 ”華為技術(shù)專(zhuān)家對(duì)觀察者網(wǎng)說(shuō)道。

在存算協(xié)同能力深度加持下，通過(guò)多層介質(zhì)平衡性能和成本， “推得貴”也不再是難題。華為表示，無(wú)需過(guò)多投資，UCM就可以讓長(zhǎng)序列場(chǎng)景下TPS（每秒處理token數(shù)）提升2-22倍，相當(dāng)于降低每Token推理成本，為企業(yè)減負(fù)增效。

UCM的意義，更像是華為的另一種“系統(tǒng)補(bǔ)單點(diǎn)”，它不是為了取代HBM，而是降低了對(duì)HBM的依賴(lài)，把HBM的優(yōu)勢(shì)發(fā)揮在更合適的地方。

在這種技術(shù)加持下，企業(yè)可以維持算力投入不變，僅花銷(xiāo)小部分外置存儲(chǔ)的投資，讓緩存原地 “升級(jí)”，改善推理效率、攤薄每token推理成本，進(jìn)而形成“用戶(hù)流量增大-企業(yè)收益-進(jìn)一步擴(kuò)大AI投資-技術(shù)快速迭代”的正循環(huán)，拉動(dòng)中國(guó)整體AI水平提升。

聯(lián)合創(chuàng)新，驗(yàn)證技術(shù)價(jià)值

任何技術(shù)只有真正落地才能產(chǎn)生價(jià)值。華為UCM推出后，已經(jīng)攜手中國(guó)銀聯(lián)率先在金融典型場(chǎng)景開(kāi)展UCM技術(shù)試點(diǎn)應(yīng)用。