AI期间下，推理时刻干系用户与AI交互的体验，包括回话问题的时延、谜底的准确度以及复杂险阻文的推理能力等，在此布景下，华为最新推出AI推理黑科技UCM（推理记挂数据经管器），可大幅镌汰推理时延与本钱，并大幅进步推理遵守。

8月12日，华为举行发布会，矜重发布AI推理翻新时刻UCM。

据了解，现在，国外主流模子的单用户输出速率已进入200 Tokens/s区间（时延5ms），而我国大批小于60 Tokens/s（时延50-100ms），怎样惩办推理遵守与用户体验的艰巨一衣带水。

“高延长、高本钱是当下AI推理领域发展的主要挑战。”华为数字金融军团CEO曹冲在会上示意。

华为方面先容，四肢一款以KV Cache为中心的推理加快套件，UCM交融了多类型缓存加快算法器具，分级经管推理经由中产生的KV Cache记挂数据，可扩大推理险阻文窗口，以达成高朦拢、低时延的推理体验，镌汰每Token推理本钱。

在具体时刻达成旅途方面，华为有关负责东说念主示意，UCM通过层级化自恰当的全局前缀缓存时刻，可达成自便物理位置、自便输入组合上的KV前缀缓存重用，在多轮对话、RAG学问检索等场景中班师调用KV缓存数据，幸免访佛想象，使首Token时延最大镌汰90%。

另外，UCM可凭证记挂热度在HBM、DRAM、SSD等存储介质中自动分级缓存，同期交融多种稀少把稳力算法，达成有算深度协同，使长序列场景下TPS（每秒处理Token数）进步2—22倍，镌汰每Token推理本钱。

此外，UCM通过动态KV逐层卸载、位置编码推广、Prefill稀少等组合时刻，将超长序列Cache分层卸载至外置专科存储，欺诈算法打破模子和资源适度，达成10倍级推理险阻文窗口推广。

华为有关负责东说念主示意，面前，中国互联网企业在AI领域的投资界限仅为好意思国的极端之一。与此同期，国内大模子的推理体验与外洋比较仍存在差距——而推理体验的不及会班师导致用户流失，进而减缓企业的投资节拍；投资缩小又会使企业难以承担不菲的推理本钱，反过来进一步适度推理体验的进步，变成恶性轮回。UCM大略在算力基础法子过问保抓不变的前提下，显赫优化推理体验，激动AI推理进入“体验进步—用户增长—投资加大—时刻迭代”的交易正轮回。

记者了解到，华为UCM已领先在中国银联“客户之声”“营销策动”“办公助手”三伟业务场景中，开展灵巧金融AI推理加快应用试点，并已获取一定后果。

“AI期间后，Token经济期间到来，现在推理经由仍存不少挑战，怎样改动推理系统的体验和遵守是一个热切的话题。与中国银合并作落地UCM，关于AI推理的遵守来说是一个有用的打破。”华为副总裁、数据存储总裁周跃峰示意。

跟着AI应用向各样实质场景深度浸透，用户界限和央求量急剧攀升，模子分析和生成的Token数更呈现指数级增长态势，最大化单Token智能承载力、优化其本钱成为厂商中枢目标，Token经济期间降临，磨砺、推理遵守与体验量纲都以Token为表征。以火山引擎为例，2025年5月日均Token调用达16.4万亿，较2024年同期激增137倍。高大的Token处理量意味着不菲运营本钱——作事器真贵、电力滥用抓续攀升；而保险畅达推理体验又需加大算力过问。如安在两者间找到均衡，成为全行业亟待破解的艰巨。

在此布景下，华为探求于2025年9月矜重开源UCM，届时将在魔擎社区首发，后续逐渐孝顺给业界主流推理引擎社区，并分享给业内总计Share Everything(分享架构)存储厂商和生态伙伴。

“为什么要开源，是但愿行业内更多东说念主（企业）一皆激动推理框架、步伐的变成，这是一个全球共创步伐、共同激动推理领域加快发展的经由。”华为有关负责东说念主示意。

开云kaiyun官方网站