共计 1303 个字符，预计需要花费 4 分钟才能阅读完成。
对话芯展速许玮:“内存墙”下,AI 缺的是 GPU 的“放大器”
在 AI 算力竞赛白热化的今天, 一个被忽视的瓶颈正在浮现:GPU 越来越强 , 但有效算力利用率却普遍只有 30% 至 60%。芯展速产品副总裁许玮在接受钛媒体采访时指出, 当前 AI 产业最大的制约并非 GPU 算力本身, 而是“内存墙”导致的数据供给不足。他提出, 用存储扩展显存, 让每一块钱的算力投资产出更多 Token, 才是实现算力平权的关键。
📌“内存墙”:AI 算力效率的隐形杀手
过去几年,AI 产业信奉“算力为王”, 英伟达 GPU 供不应求, 云厂商不断扩建数据中心。然而, 随着大模型推理和 AI Agent 进入规模化应用, 一个尴尬的现实浮出水面: 即便是最新一代 GPU, 实际推理场景中的有效算力利用率也普遍只有 30% 至 70%。大量昂贵的计算资源并未持续工作, 而是在等待数据。
问题的根源在于“算存失衡”。 过去二十年 ,GPU 算力提升了约 6 万倍, 但显存容量仅增长几十倍。计算与存储的增长速度严重不匹配, 导致数据供应远跟不上计算速度, 形成越来越宽的“内存墙”。许玮解释,AI 推理是一个完整的数据流动过程, 模型参数、KV Cache 需要在 GPU、显存、CPU 和存储系统间频繁交换, 任何环节滞后都会拖慢整个系统。
随着模型参数膨胀、上下文窗口扩展,KV Cache 规模迅速增长 , 大量占用显存。当显存不足时, 系统不得不频繁交换数据甚至重复计算, 进一步降低 GPU 利用率。许玮强调:“‘内存墙’并非单纯的容量不足, 而是系统性瓶颈,AI 基础设施的性能天花板已从计算芯片转向存储架构和数据流动效率。”
🔍 另辟蹊径: 用存储扩展显存
面对“内存墙”, 行业传统做法是堆更贵的 GPU, 但成本非线性增长, 性能收益却递减。许玮认为, 用户不应只看 GPU 参数, 而应关注系统效能, 包括数据流动、显存利用、多卡通信等。芯展速选择了另一条技术路线——用存储扩展显存, 释放消费级 GPU 的潜力。
- 多卡并行效率受限: 消费级 GPU 默认 P2P 通信被限制, 多卡数据需经 CPU 中转, 延迟高、带宽浪费。AI90 通过智能 P2P 互联技术解锁硬件 P2P, 实现 GPU 直连, 提升并行效率。
- 长上下文处理困难: 传统 KV Cache 显存利用率低于 40%, 超长文本易触发 OOM。AI90 将 KV Cache 从 HBM 卸载至高性能 SSD, 构建“HBM+DRAM+SSD”三级存储体系, 扩展缓存空间, 支持 128K+ 上下文。
💡 算力平权: 让中小企业用得起大模型
根据芯展速在 WAIC 公布的数据,AI90 方案下 ,Llama 3 70B 模型在 4 卡 5090 集群上吞吐量从 120 tk/ s 提升至 610 tk/s;64K 上下文首 Token 延迟从 27.99 秒降至 0.564 秒; 显存利用率从 30%-40% 提升至 85%-95%。这些数字意味着, 中小企业、开发者甚至个人用户, 也能基于消费级 GPU 部署本地 AI, 而不必依赖昂贵的数据中心。
📊 行业观察:AI 基础设施的范式转变
围绕“对话芯展速许玮:“内存墙”下,AI 缺的是 GPU 的“放大器”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
