AI推理需求快速增长,GPU并非始终满负荷运行。围绕调度、缓存复用和系统软件优化,AI Infra正成为降本增效的新焦点。

芯展速产品副总裁许玮指出,AI算力效率瓶颈在于“内存墙”,通过存储扩展显存可提升GPU利用率,实现算力平权。

中昊芯英在WAIC期间发布第二代TPU芯片“须臾”,同时宣布华东首个国产TPU千卡集群在杭州落成,由杭州电信、中兴通讯等共建,面向大模型推理与训练。

小米公开 MiMo-V2.5 推理系统全链路优化方案,围绕 Hybrid SWA、KVCache、调度与多模态链路降低推理成本。

本周AI与半导体产业热度集中释放:华为提出“韬定律”,MiniMax启动A股上市辅导,模型调用、Token服务和机器人资本化继续升温。