英特尔推出推理微服务:四至六代至强可自动配置 vLLM 参数

📌 容器化交付: 一个模型一个容器

每个微服务都是独立容器, 通过 OpenAI 兼容 API 提供单个模型服务。启动时自动检测英特尔处理器型号, 并套用针对该模型与硬件预先验证的配置参数。英特尔认为, 难点不在生成回复, 而在既有硬件上稳定、高质量地重复。精度、核心任务分配、NUMA 内存布局和指令集选择都取决于模型与处理器; 换模型或换芯片, 参数就要重新调整。微服务把这些调优工作封装在容器内, 用户选模型, 容器选设置。

🔍 首批基于 vLLM, 启动识别加速器

首批版本基于 vLLM 引擎, 支持 BF16, 可在 Docker 或 Kubernetes 1.24 及以上运行, 硬件要求第四、五、六代至强, 建议 32GB 内存。启动时容器会检查处理器代数、核心数量、NUMA 节点及内置加速器。近期至强核心内置了用于矩阵乘法的高级矩阵扩展, 以及 AVX-512、AVX2、VNNI 向量扩展。这些加速器已存在于芯片中, 但只有推理引擎正确配置才能发挥作用。

💡 识别失败报错, 并提供预检

检测完成后, 容器选择验证过的配置档案 , 解析调优参数, 缓存权重, 并在指定端口启动服务。若运行特定模型镜像且主机未被识别, 容器会启动报错, 而不是静默以未调优状态运行。基础镜像默认启用回退, 无匹配专用配置时采用硬件兼容的通用配置。用户可用 detect-hardware 或 dry-run –format json 查看硬件信息与将执行的 vLLM 命令。

📊 从至强延伸到 GPU 的统一接口

这并非英特尔首次涉足推理微服务。9 月其开发者页面已介绍 Intel AI for Enterprise Inference, 一套基于 vLLM 的开源 LLM 服务栈。此次发布可视为进一步产品化、容器化。英特尔称当前版本是“迈向英特尔硬件统一推理的第一步”, 至强是起点而非终点。随着产品线扩展到英特尔 GPU, 包括代号 Crescent Island 的数据中心推理 GPU, 同一微服务模式会延伸到 GPU 平台, 变化的只是配置档案, 应用接口不变。未来迁移时只需更改部署配置, 不必重写应用或重新调优。

• 接口独立于芯片: 一个模型对应一个容器,OpenAI 兼容 API 暴露在已知端口。
• 优化进入开源上游, 容器是标准端点而非必须采用的 SDK。
• 后续计划增加 Helm Chart、Kubernetes Operator、更多推理引擎和精度支持; 工具调用与结构化输出目前仅作 vLLM 透传, 尚未验证为正式支持。
• 每个模型附有各自许可证, 部署方需自行确认合规。

🚀 总结

英特尔此次重点不在模型本身, 而在部署与调优自动化 。它把重复调参收敛到容器内部, 并以统一接口为后续 GPU 产品线留出空间。实际效果仍需更多模型与硬件组合检验, 但这一接口策略为后续 GPU 迁移保留了应用层稳定性。