AI大模型“记性”太差怎么办？国产存储发布新一代词元加速方案

你问DeepSeek或者豆包AI大模型一个问题，如果需要得到专业的回答，它往往要花十几秒才“想”好第一个字。在多轮对话或超长文档处理中南京股票配资网，这个等待时间更会长得让人抓狂。根源在于，大模型每次回答都需要重新计算所有历史内容，计算量随着对话轮次和上下文长度平方级增长。通俗点讲，就是大模型“记性”太差。如何提高效率？

中科曙光在8月28日开幕的2026中国国际大数据产业博览会上，发布了一套全新的解决方案——ParaCache词元加速方案，核心思路是让AI的“记忆”不再用完即弃。据介绍，实测显示：基于该方案，模型单轮对话首词元时延（TTFT）最高降低98.5%，高并发场景词元吞吐量最大提升27倍。

这相当于给AI装了个“外挂大脑”。比如，处理16K长文本，单次推理要算2.56亿次。传统的存储方法用完就扔，浪费惊人。此方案让AI的“记忆”可复用、可流转，首字响应最快只需400毫秒。

随着大模型从训练走向规模化落地，算力消耗的重心已经转移到了推理环节。而推理正遭遇两大瓶颈：推理越来越慢，“记忆”越来越贵。 为了避免重复计算，业界普遍采用KV Cache技术，把已经算好的键值向量缓存在GPU显存中，下次直接复用。但显存容量有限、价格高昂，随着模型变大、上下文变长，硬件成本急剧攀升。更关键的是，传统KV Cache只能消除单对话、单节点内的重复计算，在跨对话、跨节点的集群场景中，加速效果大打折扣。

ParaCache怎么做？给KV Cache建一个“四级档案馆”。核心思路是：让KV Cache从“用完即弃”的临时数据，变成可反复调用的数据资产。

它构建了一个四级缓存架构，对KV Cache进行全层级高效管理：热数据放显存（最快响应），温数据放内存（平衡速度与成本），冷数据放SSD（便宜大容量），归档数据放分布式存储（长期保存、跨节点共享）。

基于这种“四级缓存池化”管理，实现两大关键突破： 硬件层：优化跨芯片、跨节点的计算效率，打通各级存储资源，让数据可以在不同层级间按需流转。运行层：可以跨请求、跨对话复用缓存的KV Cache，可复用的时间窗口从传统方案的单次对话，延长到数周甚至数月。

这背后还有一个关键支撑：今年7月在贵阳落成的曙光8000——首个全国产十万卡AI超集群。

“ParaCache正是在这个生产级集群上完成了验证，成功支撑长上下文对话、高并发在线推理、智能体工作流与高通量推理四类应用场景。”中科曙光分布式存储产品部总经理石静介绍， 这相当于从“存数据”到“存智能”，“ParaCache并非改写GPU的性能上限，而是通过减少重复计算和数据搬运，让既有算力得到更充分地利用。”

元股证券:ygzq.hk

据介绍，在传统推理架构中，GPU是绝对的中心，存储只是被动响应。而ParaCache的推出南京股票配资网，让存储的角色被重新定义：它成了推理链条上的主动参与者——决定哪些记忆留在显存、哪些下沉到内存和SSD、哪些进入分布式存储，决定何时预取、何时淘汰。这正是AI驱动下数据基础设施的一次结构性变化——从“存数据”到“存智能”。当大模型从“训练时代”进入“推理时代”，算力的争夺战正在变成“记忆效率”的争夺战。（光明日报全媒体记者袁于飞）