近日，通发布了面向 AI 数据中心市场的带宽计架构（HBC，High-Bandwidth Compute），通表示，该架构可实现低的单位 Token 能耗、的有存储带宽，同时降低系统总体拥有成本。
如今，制约大模型落地的核心瓶颈已经不再是力芯片的力不够，而是行业反复提及的"内存墙"，过去行业简单的解法是不断加购显存、堆叠硬件。但到了今年，行业共识已然转向，不再靠硬件堆料硬扛内存墙，而是走软件盘活存量、硬件重构底层两条互补路径，全产业链协同重塑存储与力的协作逻辑，用巧劲撬开这堵厚重的存储墙。
内存墙出现本质是 CPU/GPU 力提升速度，远远过内存读写带宽、延迟的提升速度，力芯片运速度快，但数据存取跟不上，处理器大部分时间闲置等待数据，致力与存储之间产生的巨大能鸿沟。
数据显示，2024 至 2026 年，主流大模型参数量暴涨百倍，上下文窗口从万字拓展至百万字，但服务器内存带宽年均提升不足 15，远滞后于 AI 业务增速，软硬件迭代速率的严重错配，让内存资源低浪费问题爆发。
当前 AI 理产业面临三重核心存储困境，且法通过传统硬件扩容解决。是显存与端内存资源度稀缺，单台 AI 理服务器的 DRAM、HBM 消耗量是传统数据中心服务器的十倍以上，全球近六成 DRAM 晶圆产能被 AI 集群占用，消费电子与中端服务器产能持续被挤压，HBM 是长期处于锁单缺货状态；二是存储资源利用率低，传统架构下 GPU 法直接调度外部存储，大量低频 KV 缓存、闲置权重参数持续占用价 HBM 显存，理过程中临时张量、碎片化缓存造成 30 以上的内存占用，资源浪费严重；三是存储成本居不下梅州橡塑专用胶，内存相关支出占据 AI 服务器硬件总成本半以上，中小企业因存储门槛法落地大模型服务，头部厂商也因存储产能限制，难以限扩容理集群。
面对这些难题，各大企业都在布局针对的软硬件存储优化技术，通过精细化调度、数据压缩、架构重构、生态联动全位破解内存墙桎梏。
软件层面革新的核心逻辑只有个：不新增任何存储硬件，通过压缩、分层调度、跨设备资源复用，盘活服务器闲置内存与闪存，削减价显存占用，落地门槛低、见快，是当下行业主流过渡案，市面上各类厂商自研工具、量化法，都是这套思路的具象落地。
行业统将 KV 缓存作为显存消耗核心攻坚对象，优化向分为两大分支。是损低比特量化压缩，跳出传统量化损伤模型精度的局限，依靠数学变换、误差校正机制，在低比特位宽下维持模型输出果，直接压缩显存占用、拉理吞吐。谷歌出的 TurboQuant 是这条路线的典型验证案例，依托坐标变换与误差校正实现 3 比特近乎损 KV 缓存压缩，实测长文本场景显存占用压缩 6 倍、理吞吐提升 8 倍；英伟达的 NVFP4 量化套件同样落地该逻辑，3 比特档位精度损失控制在 0.8 以内，其研究团队还提出种 KVTC（KV 缓存变换编码）技术，是将压缩理论上限至 20 倍，进步印证低比特压缩的优化潜力。
TurboQuant 的缓存压缩能图（来源：谷歌官网）
二是全域分布式分层调度，通 GPU、HBM、主机 DRAM、本地闪存、远端存储多层介质，依靠冷热数据自动分流破单卡显存孤岛，降低硬件综成本。英伟达的 Dynamo 1.0 理操作系统搭配 BlueField-4 CMX 平台完整落地这套机制，自研缓存管理、低延迟 RDMA 传输模块自动区分、中、低频上下文，温冷缓存下沉至共享存储池，在 GB200 集群实测 MoE 模型吞吐提升 7 倍，万能胶厂家单位 Token 硬件成本下降 40；AMD 收购的 MEXT 出的 AI 预测内存技术则是补充了闪存扩容分支的落地案例，通过法抹平闪存与 DRAM 能差距，实现可用内存扩容 2~4 倍、基础设施成本减半，完善了低成本扩容的软件解法。
整体来看，所有软件技术都围绕"存量挖潜"展开，只是厂商基于自身芯片、DPU、处理器硬件禀赋，选择了压缩、集群调度、闪存扩容不同侧重，但底层目标致。
软件优化仅能在现有硬件框架内做资源再分配，法突破芯片互联、存储介质的物理上限，想要承载万亿参数模型、大规模 AI 智能体并行任务，须重构存协同底层硬件架构。
当前行业也因此演化分化出三条主线：是拉单节点速存储上限，造体化能整机集群。核心思路是提升原生 HBM 规格、新增用存储硬件分担缓存压力，重构总线通路实现 GPU 直连外部存储，搭建多层硬件存储底座。例如，为破解长上下文 KV 缓存显存挤占问题造的 BlueField-4 STX 用存储机架，是英伟达 Vera Rubin 全栈 AI 计存储平台中支撑本路线的核心落地案。整套平台以 NVL72 GPU 机架作为力底座，单卡搭载 288GB HBM4、单机架计 20.7TB 速显存，留存用于低延迟实时交互热数据梅州橡塑专用胶，STX 机架则新增立 CMX 上下文存储层，作为外置共享缓存池承载海量复用型 KV 缓存，从硬件层面拆分冷热数据、分流显存负载，相较传统案集群 Token 处理率提升 5 倍；此外，英伟达与亚马逊联出的 GIDS 直通技术，实现 GPU 绕开 CPU 直连 SSD，整机有可用存储硬件扩容 16 倍，整套分层架构实测证明，依靠外置用存储池分担显存压力，可稳定支撑百万 Token 长上下文、上千智能体并行的负载理场景。
二是搭建标准化通用共享内存池，走开放兼容路线。依托通用互联协议通全品类力与存储，整分散内存资源形成统逻辑池，不绑定自有硬件，适配多混部署。英特尔以 CXL 2.0 架构为核心落地该案，依托至强 6 代处理器原生协议通 CPU、GPU、FPGA 与各类内存介质，联阿里云、腾讯云、美光完成商业化落地，也是当前跨节点内存共享成熟度的案，用产业生态作成果验证开放内存池的规模化落地能力。
来源：英特尔官网
三是补齐大容量低成本速存储介质，构建混分层存储体系。针对 HBM 带宽、容量小、造价昂贵的短板，研发新型带宽闪存作为中频缓存载体，形成" HBM 热数据 +HBF 中频缓存 + 普通闪存冷数据" 三硬件架构。SK 海力士与闪迪联研发的 HBF 带宽闪存是这条路线的核心验证载体，单模块 512GB，容量为同规格 HBM 的 8~16 倍，读取能远传统 SSD，还能降低成本。
HBF 堆叠架构示意图 ( 来源：Tom's Hardware )
与上述三种式不同，通近期提出的 HBC 带宽计 3D 堆叠架构较为新颖，将加速器置于 LPDDR 堆栈下，通过 TSV 直连规避 HBM 成本。官数据显示，HBC 相较传统 HBM 实现每瓦带宽提升 6 倍，对比 SRAM 达成每瓦容量提升 200 倍。代 HBC Gen1 搭载于 AI250，单卡读写带宽 133TB/s，相较 AI200 带宽提升 18 倍；新代 HBC Gen2 赋能 Dragonfly AI300 理加速器，整体能较 AI200 提升 54 倍，单卡每瓦内存带宽相较主流 GPU 架构出 4 至 8 倍。
业内指出，软件法承担短期降本、缓解显存紧缺的任务，革新的硬件架构开长期能天花板，软硬协同、分层混存储，将是未来很长段时间破解内存墙的核心产业路径，其影响不止于理提速、硬件成本下降，会重塑全球存储供需格局与定价体系，降低中小企业落地大模型的硬件门槛，缓解行业普遍存在的内存资源浪费问题。相关词条:设备保温 塑料挤出机厂家 预应力钢绞线 玻璃丝棉 万能胶厂家
奥力斯 泡沫板橡塑板专用胶报价 联系人：王经理 手机：18232851235（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定梅州橡塑专用胶，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。