深度学习主机配置清单：8 卡机房从入门到企业级
从 1 卡桌面级到 8 卡机房服务器，5 档典型配置清单。CPU / 主板 / 内存 / 电源 / 散热 / 机柜全套选型，附整机预算和供应商建议。
「老板说要搭一台 AI 服务器，让我出 BOM 清单。」
这是技术负责人最常踩坑的场景。GPU 选型只是一部分，真正决定能不能稳定跑、能不能扩容、能不能维护的，是除 GPU 外的那 80% 配件。
这篇拿 5 档典型配置的完整 BOM 清单 + 关键决策点给你看，包括 CPU、主板、内存、电源、散热、机柜全套选型。
一、配置选型先看这 3 件事
1. 你的模型多大
- 7-14B 模型 → 24G 显存即可（4090 / RTX 5090）
- 32-72B 模型 → 48G 显存（A6000 / L40S）
- 100B+ 模型 → 80G ×多卡（A100 / H100）
2. 你的并发多高
- 个人用 / 1-5 并发 → 单卡桌面机
- 10-50 并发 → 双卡工作站
- 50-200 并发 → 4-8 卡服务器
- 200+ 并发 → 多机集群
3. 你的部署环境
- 办公室 → 桌面机（噪音 / 散热）
- 机柜 → 4U 机架式
- 数据中心 → 5U-8U 服务器
二、5 档配置清单
档位 1：入门 · 1×4090 桌面工作站
| 部件 | 推荐 | 价格 | |---|---|---| | GPU | RTX 4090 24G | 1.5 万 | | CPU | Intel i9-14900K（24 核）| 4,500 | | 主板 | ASUS ROG Z790-E | 4,500 | | 内存 | DDR5 6000 64GB | 2,000 | | 系统盘 | 三星 990 Pro 2TB NVMe | 1,500 | | 数据盘 | 4TB NVMe | 2,000 | | 电源 | 海韵 PRIME-TX 1000W 钛金 | 2,500 | | 散热 | 360 一体水冷 | 1,200 | | 机箱 | 联力 O11D 全塔 | 1,500 | | 合计 | | 3 万整机 |
适合：个人开发者、AI 出图工作室、小团队 PoC
档位 2：升级 · 2×4090 桌面工作站
| 部件 | 推荐 | 价格 | |---|---|---| | GPU ×2 | RTX 4090 ×2 | 3 万 | | CPU | Intel Xeon W5-2465X / Threadripper 7960X | 1.2 万 | | 主板 | ASUS Pro W790 / TRX50（PCIe 5.0 ×16 ×2）| 8,000 | | 内存 | DDR5 ECC 128GB | 5,000 | | 系统盘 | 三星 990 Pro 2TB | 1,500 | | 数据盘 | 8TB NVMe | 4,000 | | 电源 | 海韵 PRIME 1600W 钛金 | 4,500 | | 散热 | 双 360 水冷 + 增风扇 | 2,500 | | 机箱 | 联力 V3000 Plus（4 卡机箱）| 3,500 | | 合计 | | 7 万整机 |
⚠️ 关键坑：双 4090 必须用 PCIe 5.0 ×16 ×2 主板（实际是 ×8 ×8），消费级 Z790 只支持 ×16 + ×4，第二张卡降速 75%。
适合：技术团队、中小企业试水
档位 3：中端 · 2×A6000 NVLink 工作站
| 部件 | 推荐 | 价格 | |---|---|---| | GPU ×2 | NVIDIA A6000 Ada 48G ×2 | 12 万 | | NVLink 桥接器 | A6000 NVLink | 4,000 | | CPU | Intel Xeon W7-2495X（24 核 5.0GHz）| 2 万 | | 主板 | ASUS Pro WS W790-ACE | 1.2 万 | | 内存 | DDR5 ECC 256GB（32GB ×8）| 1 万 | | 系统盘 | 三星 PM9A3 3.84TB U.2 | 5,000 | | 数据盘 | 15TB NVMe 阵列 | 1.5 万 | | 电源 | 海韵 PRIME 1600W ×2 冗余 | 1 万 | | 散热 | 工作站主动散热 | 5,000 | | 机箱 | 4U 工作站机箱 | 3,000 | | 合计 | | 18-22 万 |
适合：中小企业（10-100 人）日常 AI 平台、需要训练的研发
档位 4：高端 · 4×L40S 机房服务器
| 部件 | 推荐 | 价格 | |---|---|---| | GPU ×4 | NVIDIA L40S 48G ×4 | 28 万 | | 服务器底板 | 超微 4124GS-TNR 4U | 3 万 | | CPU ×2 | AMD EPYC 9354（32 核）×2 | 6 万 | | 内存 | DDR5 ECC 512GB（64GB ×8）| 2.5 万 | | 系统盘 | 三星 PM9A3 3.84TB ×2 RAID1 | 1.2 万 | | 数据盘 | NVMe 30TB（7.68TB ×4 RAID5）| 4 万 | | 网卡 | Mellanox ConnectX-7 100G | 1.5 万 | | 电源 | 服务器自带冗余电源 2200W ×2 | 含 | | 合计 | | 60-75 万 |
适合：中型企业（100-500 人）AI 中台、需要扩展到多机
档位 5：旗舰 · 8×H100 服务器
| 部件 | 推荐 | 价格 | |---|---|---| | GPU ×8 | NVIDIA H100 80G SXM5 ×8 | 250+ 万 | | 服务器整机 | DGX H100 / 超微 821GE-TNHR | 含 | | CPU ×2 | Intel Xeon Platinum 8480+ | 含 | | 内存 | DDR5 ECC 2TB | 含 | | 数据盘 | NVMe 60TB | 含 | | 网卡 | NVIDIA ConnectX-7 InfiniBand 400G ×4 | 含 | | 液冷 | 选配（推荐）| +30 万 | | 整机 | | 300-400 万 |
适合：大企业、AI 训练、研究机构
三、CPU 选型详解
消费级 vs 工作站 vs 服务器
| 场景 | 推荐 CPU | 原因 | |---|---|---| | 单 GPU 桌面 | i9-14900K / Ryzen 9 7950X | 价格性能比 | | 双 GPU 工作站 | Xeon W5/W7 / Threadripper 7000 | 多 PCIe lane | | 4 GPU 服务器 | EPYC 9004（128 lane） | PCIe lane 数 | | 8 GPU 服务器 | 双路 Xeon Platinum / 双路 EPYC | 多 NUMA + lane |
关键参数：PCIe lane
- 单 GPU 需要 16 lane（PCIe 5.0 ×16）
- 4 GPU 服务器需要至少 80 lane
- 8 GPU 服务器需要 128+ lane
消费级 CPU（i9 / Ryzen 9）只有 16-24 lane，直接卡死多 GPU 扩展。
四、电源 / 散热 / 机柜
电源功率公式
电源功率 = GPU 满载 ×120% + 其它配件 ×120%
- 1×4090：450W + 350W = 800W → 1000W 电源
- 2×4090：900W + 400W = 1300W → 1600W 钛金
- 2×A6000：600W + 500W = 1100W → 1600W
- 4×L40S：1400W + 700W = 2100W → 2400W ×2 冗余
- 8×H100：5600W + 800W = 6400W → 服务器机架供电
散热方案
| 配置 | 推荐散热 | 备注 | |---|---|---| | 1-2×4090 桌面 | 360 水冷 + 强机箱风道 | 注意机箱排风 | | 2×A6000 工作站 | 工作站静音风扇 | 一般不需要水冷 | | 4×L40S 服务器 | 服务器自带风冷 | PUE 1.4-1.6 | | 8×H100 服务器 | 液冷强烈推荐 | 风冷噪音爆炸 + 容易过热 |
机柜要求
| 配置 | 机柜 | 注意 | |---|---|---| | 桌面机 | 办公室 / 机房均可 | 噪音 50-60dB | | 4U 工作站 | 机房或安静办公室 | 噪音 60-70dB | | 4U 服务器 | 必须机房 | 噪音 70+dB | | 8U 旗舰 | 必须数据中心 | 单机柜功耗 6kW+ |
五、供应商对比
| 供应商 | 强项 | 弱项 | 推荐场景 | |---|---|---|---| | 超微（Supermicro） | 通用兼容、便宜 | 售后一般 | 自己有运维团队 | | 戴尔（Dell） | 售后强、稳定 | 贵 25% | 大企业、招投标 | | 联想 ThinkSystem | 国产品牌、价格中等 | 配置不够灵活 | 国央企客户 | | 浪潮 | 信创、稳定 | 创新慢 | 政府客户 | | 定制商（Linkmetax 等） | 灵活、性价比 | 没有大厂背书 | 中小企业 |
六、避坑指南
❌ 坑 1：消费级主板装多 GPU
症状：第二张卡 PCIe 降速 ×4，性能损失 75% 对策：双 GPU 必须工作站主板
❌ 坑 2：电源功率不够
症状：满载重启 / 蓝屏 / GPU 降频 对策：按公式 +20% 余量
❌ 坑 3：机箱风道差
症状：GPU 温度墙 85℃+，性能掉 30% 对策：机箱前 3 进 后 3 出，水冷排在前
❌ 坑 4：忘了 NVLink 桥接器
症状：A6000 双卡没 NVLink，多卡训练慢 对策：A6000 / A100 / H100 必配 NVLink
❌ 坑 5：装 Linux 才发现兼容性
症状：NVIDIA 驱动装不上 / 网卡识别不到 对策：买之前确认 Ubuntu 22.04 / 24.04 完整兼容
写在最后
8 卡机器自己配会折腾死人。我们 AI 工作站方案 提供：
- 5 档配置全部现货 / 短期订单
- BOM 清单透明，可定制
- 含 Ubuntu / Driver / vLLM / TensorRT-LLM 预装
- 上门部署 + 1 年原厂保修 + 7×24 远程支持
下载《深度学习主机配置清单：8 卡机房从入门到企业级》PDF 完整版
留下邮箱，立刻获取本文 PDF + 后续企业 AI / 软件采购干货
- ✓ 含全部图表、检查清单、参考链接
- ✓ 可用于内部分享 / 招投标资料引用
- ✓ 后续更新自动推送 · 不发垃圾邮件