发布于 2026-10-30 · 慕宸办公 · 算力专区
"我们要在内网部署一套 AI，需要买什么机器？"——这个问题老板问得很实在，但技术同事往往回答得很含糊，因为算力需求不是一个固定数字，而是由业务规模决定的一条曲线。
这篇文章把估算过程拆成老板能看懂的三步：定指标 → 算显存 → 定卡数。你在纸上就能算个大概，再拿去和报价单核对。
一、为什么企业开始转向本地部署
三个最常被提到的理由：
- 数据不出内网：合同、图纸、客户名单、研发资料走公有云，很多企业的合规审查过不了；
- 长期成本可控：业务常态化使用之后，一次性投入往往比持续按量付费更省；
- 自主可控：模型版本、上线节奏、停机窗口都由自己决定，不受外部服务变动影响。
反过来说，如果只是偶尔用、用得少、数据也不敏感，先用云服务按调用量付费通常更划算。决定前，建议先按下面三条指标算一笔账。
二、先定三条指标
| 指标 | 通俗解释 | 它决定什么 |
|---|---|---|
| 模型规模 | 选多大的模型（7B／14B／32B……） | 显存下限 |
| 峰值并发 | 同一时刻最多几个人在用 | 卡的数量 |
| 响应时长 | 能接受的最长等待时间 | 算力档位 |
这三条里，并发最容易被低估。以企业内部知识问答为例，中午休息前十分钟一口气涌进来三四十个人提问，是再正常不过的事。按平均值估一定不够，要按峰值估。
三、三步估算显存
第 1 步：模型本体占用
粗略记法：每 10 亿（1B）参数，在半精度下约占 2GB 显存；做 8 位量化约降到一半，4 位量化再减一半。所以一个 7B 模型，半精度约 14GB，量化到 4 位大概 4GB 上下。
第 2 步：加上并发缓存
模型在回答时要保存"上下文"，这部分空间随并发人数 × 上下文长度增长。人多、聊得长、上传的文档多，这一项涨得很快。工程上通常会按并发份数预留。
第 3 步：留出两成余量
驱动、框架、临时开销，再加上后续可能换更大的模型版本——建议实际占用不超过显存的 80%。
一句话版：需要的显存 ≈ 模型本体 + 并发缓存，再除以 0.8。这样算出来的数字，拿去和显卡的显存档位对照，就能定该选 24GB、48GB 还是更大的卡。
举例：某制造企业要在内网做设备检修知识问答，峰值 20 人同时使用，选 14B 模型并做 4 位量化。模型本体约 8GB，20 份并发缓存与上下文预留约 12GB，合计约 20GB，除以 0.8 得 25GB —— 那么单张 48GB 的卡就够了，甚至略有富余。
四、三个典型场景
1. 二三十人的内部知识问答、文档摘要
典型是行政、人事、销售团队查制度、写材料。单张专业卡（24～48GB 档）通常即可满足，配足内存与固态。推荐先用现有高性能工作站做小规模验证。
2. 上百人的客服／销售辅助实时使用
并发压力大、对响应速度敏感，通常需要双卡或多卡，并且要关注卡之间的互联带宽。这一档务必做压力测试：用真实并发量跑一轮，看瓶颈卡在显存、算力还是网络上。
3. 研发团队的持续微调
要拿自有数据反复训练，建议单独一台训练节点，不要和线上推理抢资源。轻量微调方法能显著降低硬件门槛，多数中小企业在预算有限时更现实。
五、除了显卡还要配什么
- 内存：建议与显存大致同量级起步，模型加载、数据预处理都吃这一块；
- 存储：模型文件动辄几十 GB 起，用高速固态做系统与模型盘，另配大容量硬盘放语料与日志；
- 网络：内网万兆起步，多人同时访问才不会卡在传输上；
- 供电与散热：多卡机器功耗常达数千瓦，需要独立回路、UPS 与相匹配的空调；普通弱电间通常要改造；
- 安全与备份：账号权限、访问审计、模型与数据的定期备份，别等到出事才补。
六、上线六步
- 需求调研：明确场景、并发、响应目标与合规要求；
- 算力评估：按上面三步给出显存与卡数结论；
- 方案与报价：主机、网络、UPS、机柜一次性配齐，避免遗漏；
- 现场勘测：确认空间、供电、承重、散热是否达标；
- 部署与压测：上架、系统初始化、真实并发压力测试；
- 运维托管：远程巡检加本地上门，市区 2 小时、远郊 4 小时响应。
慕宸在上海提供上述全流程服务，从单台部门级服务器到整间算力机房都可以承接。先要一份按贵司场景倒推的清单，比自己猜配置靠谱得多。
常见问题（FAQ）
Q：我们公司只有二三十人，本地部署大模型划算吗？
A：要看使用强度。如果只是偶尔用、且数据是公开性质，按调用量付费的云服务通常更省。但如果每天都用、且涉及客户资料或内部文档，"数据不出内网"本身就有价值，长期看本地部署的总成本往往更可控。建议先做一版三年总成本对比。
Q：估算出来的显存要不要乘一个安全系数？
A：要。除了模型本身，还要叠加上下文缓存、并发副本与框架开销，工程上建议实际占用控制在显存八成以内，留两成应对突发并发与版本升级。
Q：能不能先用现有的一台高性能工作站试跑？
A：可以，而且推荐这么做。先跑通业务流程、确认效果与并发表现，再据此正式采购，比一开始就按估算下单稳妥得多。
Q：模型选大一点是不是效果一定更好？
A：不一定。模型变大伴随着显存、卡数与成本的上升。对多数企业内部场景，把精力放在高质量的行业数据与合理的使用方式上，提升往往比单纯堆参数更明显，成本也低得多。
上海慕宸办公设备有限公司 ｜ 电话 021-52235773 ｜ 官网 muchenoa.com ｜ 服务上海全市（闵行/七宝/浦东等）