共计 1345 个字符，预计需要花费 4 分钟才能阅读完成。
企业爆买 AI Box
建议按 ” 变化—原因—影响 ” 的顺序阅读。
一台比机顶盒大不了多少的机器, 塞着上百 GB 统一内存 , 断网也能跑千亿参数大模型。不用机房, 插电即用, 数据不出房门。这就是 AI Box, 一台搬上办公桌的“数据中心”。苹果、英伟达、AMD、微软、英特尔悉数到场, 企业为何爆买?
📌 背景: 云端烧钱, 本地部署逻辑成立
大模型有两种用法: 调云端, 或在本地跑 。云端能力无上限, 但订阅制封顶后按量计费, 重度用户月烧几百到上千美元是常态。业内人士指出, 企业上 AI 大多卡在“从概念到落地”的摸索期, 每一分钟都在花 token 的钱, 老板却给不出具体要求。
🔍 核心信息: 内存是入场券, 三巨头各显神通
本地部署有一道硬门槛: 模型得先“装得下”。DeepSeek-R1 满血版全精度需约 1.3TB 显存 ,4-bit 量化也要 400-480GB。而一张 RTX 5090 只有 32GB 显存, 高配笔记本仅 24-32GB 统一内存, 只能跑 70 亿参数级别小模型。容量决定能跑多大模型, 带宽决定出字速度, 功耗决定能否放办公室。
苹果: 无心插柳。 M 系列芯片统一内存架构 , 内存即显存。Mac Studio M3 Ultra 最高 512GB 统一内存、819GB/ s 带宽, 功耗 480W;M5 Ultra 带宽达 1.2TB/s, 国行 46999 元起, 官方称可跑 6000 亿参数以上模型。OpenAI 已采购数万台 Mac mini 和 Mac Studio 用于强化学习。
英伟达: 降维打击。DGX Spark 用 GB10 芯片 ,128GB 统一内存、273GB/ s 带宽、1 PFLOPS 算力, 功耗 240W, 可推理 2000 亿参数模型。国行首发约 3 万元, 内存涨价后逼近 4 万。宏碁、华硕、戴尔等七家 OEM 同步推同芯片整机。DGX Station 则面向小团队,GB300 芯片、748GB 一致性内存、20 PFLOPS, 可跑万亿参数模型。
💡 影响与看点: 谁在买? 买来干什么?
在高职教育场景, 学校将备课、批改、实训答疑做成智能体本地运行 。试点后教师周均备课时间从 9.2 小时降到 5.1 小时, 批改时间从 2 小时压到 0.4 小时, 实训错误率从 22% 降到 14.3%。律所场景中, 卷宗不出所, 类案检索压缩到 40 秒以内, 文书自动生成覆盖率超 80%。
这些场景的共同逻辑是: 重复性资料处理、数据安全敏感、结果可人工复核。 传统本地服务器要机房改造、周期三到六个月 ; 公有云 API 即时开通但有数据出域风险; 盒子即插即用、物理隔离, 部署以小时计。
- 成本账: 8 卡 RTX 4090 整机约 35 万元, 功耗 4800W 以上, 需独立机房;AI Box 千元到万元, 功耗 100-480W, 试错成本固定。
- 现实瓶颈:ROI 算不清,AI 出错谁负责无答案; 成熟场景仅写代码和办公; 硬件不能升级, 扩容只能再买一台。
- 行业观察: 在 DRAM 成本高企下, 卖盒子似乎成了消化高价存储的方案。市场更需要看到 AI Box 到底能做什么。
📊 总结: 不是取代云, 而是承接另一类需求
AI Box 不是来取代云的。 需要最强模型、弹性算力、零维护的任务 , 云端依旧最优。盒子承接的是: 反复试错的预研、不愿上云的数据、十来人小团队的固定算力、算得清电费和折旧的小本生意。把硬件做小, 支付固定成本后实现算力自由——归根结底, 产品的未来是算力如何落地, 如何带来真正的价值。
