共计 1122 个字符，预计需要花费 3 分钟才能阅读完成。
端到端推理时延降低 15%: 京东广告联合鲲鹏超节点, 探索生成式广告行业新路径
京东广告面临生成式推荐带来的千倍算力需求与 300 毫秒时延红线之间的尖锐矛盾, 真正的瓶颈在通算侧而非 GPU。为此, 京东与华为鲲鹏合作, 通过灵衢互联 …
导语: 电商广告的时延预算以毫秒计。 京东广告与华为鲲鹏合作 , 将生成式推荐场景的端到端推理时延降低 15%, 并在 618 大促核心场景 5% 流量上完成验证。这一结果背后, 是算力需求激增与传统架构瓶颈的正面碰撞。
📌 300 毫秒红线撞上千倍算力需求
京东给全链路时延预算 300 毫秒, 留给广告模型推理仅 20 至 100 毫秒 。用户滑动页面超过约 600 毫秒会明显卡顿, 扣除通信开销后, 数据中心内可用时间更紧。与此同时, 京东广告从深度学习转向生成式推荐, 行为上下文增长 10 倍, 模型结构放大约 100 倍, 算力需求上涨约 1000 倍。算法迭代以周计, 机房扩容却以季度计, 矛盾被放大。
京东方面认为, 瓶颈不只在 GPU/NPU。数据预处理、检索和业务逻辑嵌入大量跑在通算侧,CPU 不足会拖住加速芯片; 单次请求涉及几十个 RPC 调用, 通信耗时占整体时延 20% 以上,KV Cache 需求也随行为序列超过 1K 而急升。
🔍 缓存做减法, 建成 300TB 共享内存池
传统四级缓存“片上内存—本地 DDR—本地 SSD—远端 Redis”难以兼顾容量、并发、时延和投资。 京东广告与鲲鹏压缩层级: 借助灵衢互联把多台机器连成共享内存池 , 只留片上内存与 DDR 两级, 池容量达 300TB, 访问池内内存接近本地内存。
- 缓存间时延下降 3 个量级, 带宽为 TCP 的 16 倍;
- 8MB 并发请求 TP99 时延下降 85% 以上, 最高 92.6%;
- 64MB 序列长度 TP99 降至 1 /16。
💡 RPC 改造与工程落地
通信侧, 方案跳过传统 Socket/TCP/IP 协议栈, 以 UB 统一协议直连 URMA, 时延开销降低 38%, 通信用内存降低 100 倍; 多路径聚合替代百 Gb 单一通路,1MB 数据包时延下降 84%,P99 优化 40% 以上。三项改造叠加, 端到端推理时延降低 15%。
落地并非没有代价。 机器多而机房空间有限 , 华为用液冷服务器提高密度; 灵衢协议的扩展性、外联泛化和稳定性需要持续打磨; 业务强依赖大内存池后, 核心链路抖动的影响范围也会扩大。这些问题分散在协议、交换链路、操作系统和芯片侧, 需要逐项解决。
📊 618 验证与下一程
从这次合作看, 生成式推荐的落地不只取决于加速芯片 , 更取决于内存层级、通信协议和调度系统能否协同优化。京东广告与鲲鹏把工程问题拆到缓存、RPC 和机房层面逐项处理, 才换来 15% 的端到端收益。随着 Agentic AI 继续推高算力需求, 这种面向通算侧的系统级改造将成为搜广推基础设施的必选项。
