成人免费午夜在线观看,伊人久久精品,一区二区三区精品

為什么會(huì)率先選擇金融場(chǎng)景？

華為技術(shù)專家告訴觀察者網(wǎng)，金融行業(yè)大模型推理有三個(gè)核心難題。首先是 “推不動(dòng)”，無(wú)論生產(chǎn)環(huán)境的投研分析，還是輿情分析，都會(huì)涉及非常多的長(zhǎng)序列輸入，像一份投研報(bào)告可能就是上兆級(jí)別的，精準(zhǔn)營(yíng)銷需要輸入的上下文基本也是長(zhǎng)序列，容易出現(xiàn)關(guān)鍵信息丟失；其次是“推得慢”，核心是并發(fā)上不去，上去之后每token時(shí)延特別長(zhǎng)；最后“推得貴”，原因是需要耗費(fèi)大量的算力，做KV Cache的重復(fù)計(jì)算。

“難題是長(zhǎng)序列推理，我們與客戶的對(duì)話時(shí)長(zhǎng)非常長(zhǎng)，轉(zhuǎn)化成文字之后會(huì)形成大量歷史對(duì)話和內(nèi)容，通過(guò)KV Cache的方式會(huì)擠占我們的顯存，瓶頸就變成了顯存，因?yàn)槲覀円彺娲罅康腒V Cache，但是我們顯存有限?！敝袊?guó)銀聯(lián)相關(guān)負(fù)責(zé)人說(shuō)道。

于是，華為和中國(guó)銀聯(lián)開(kāi)展了 UCM技術(shù)聯(lián)合創(chuàng)新。一方面是將計(jì)算過(guò)的KV Cache數(shù)據(jù)，從顯存分片卸載到內(nèi)存和存儲(chǔ)，緩解顯存的壓力，使其能處理更長(zhǎng)序列的數(shù)據(jù)；另一方面是使用注意力稀疏技術(shù)，讓大模型可以區(qū)分KV Cache緩存中，有哪些數(shù)據(jù)是和這次推理相關(guān)度最高的，只要把關(guān)鍵的向量獲取出來(lái)，就可以降低推理時(shí)間，提高吞吐量。

就是在這種聯(lián)合創(chuàng)新技術(shù)試點(diǎn)中， UCM的技術(shù)價(jià)值得到了充分驗(yàn)證。

在中國(guó)銀聯(lián) “客戶之聲”業(yè)務(wù)場(chǎng)景下，借助UCM技術(shù)及工程化手段，大模型推理速度提升125倍，僅需10秒即可精準(zhǔn)識(shí)別客戶高頻問(wèn)題。在“營(yíng)銷策劃”場(chǎng)景中，過(guò)去需要數(shù)分鐘才能生成一份的營(yíng)銷策劃案，現(xiàn)在縮短至10秒以內(nèi)，且單臺(tái)服務(wù)器可支持超過(guò)5名營(yíng)銷人員同時(shí)在線協(xié)作。而在“辦公助手”場(chǎng)景中，對(duì)于超過(guò)17萬(wàn)Token的超長(zhǎng)會(huì)議語(yǔ)音進(jìn)行轉(zhuǎn)寫(xiě)和紀(jì)要生成，借助UCM也能輕松應(yīng)對(duì)，擺脫了“推不動(dòng)”的困境。

那 UCM未來(lái)能否應(yīng)用到其他場(chǎng)景，助推AI落地千行百業(yè)？華為技術(shù)專家給出肯定答復(fù)。

“ 隨著 Agentic AI時(shí)代 到來(lái) ，信息量爆炸，體現(xiàn)在模型側(cè)是顯存不足以及推理 Token成本的問(wèn)題。 UCM方案 是去解決這一類的問(wèn)題，不是一個(gè)單點(diǎn)，只是在金融行業(yè)首先應(yīng)用起來(lái)，未來(lái)在各行各業(yè)一旦 AI發(fā)揮真正的價(jià)值 ， 都會(huì)走向這個(gè)領(lǐng)域。 ”他對(duì)觀察者網(wǎng)說(shuō)道。

填補(bǔ)生態(tài)短板，華為再度開(kāi)源

隨著推理性能的重要性不斷提升，業(yè)界其實(shí)也都在探索 KV Cache分級(jí)緩存管理技術(shù)。比如英偉達(dá)今年5月就推出了分布式推理服務(wù)框架Dynamo，支持將KV Cache緩存從GPU內(nèi)存卸載到CPU、SSD甚至網(wǎng)絡(luò)存儲(chǔ)，解決大模型顯存瓶頸，避免重復(fù)計(jì)算。