深度学习主机配置清单：8 卡机房从入门到企业级

「老板说要搭一台 AI 服务器，让我出 BOM 清单。」

这是技术负责人最常踩坑的场景。GPU 选型只是一部分，真正决定能不能稳定跑、能不能扩容、能不能维护的，是除 GPU 外的那 80% 配件。

这篇拿 5 档典型配置的完整 BOM 清单 + 关键决策点给你看，包括 CPU、主板、内存、电源、散热、机柜全套选型。

---

一、配置选型先看这 3 件事

1. 你的模型多大

• 7-14B 模型 → 24G 显存即可（4090 / RTX 5090）
• 32-72B 模型 → 48G 显存（A6000 / L40S）
• 100B+ 模型 → 80G ×多卡（A100 / H100）

2. 你的并发多高

• 个人用 / 1-5 并发 → 单卡桌面机
• 10-50 并发 → 双卡工作站
• 50-200 并发 → 4-8 卡服务器
• 200+ 并发 → 多机集群

3. 你的部署环境

• 办公室 → 桌面机（噪音 / 散热）
• 机柜 → 4U 机架式
• 数据中心 → 5U-8U 服务器

---

二、5 档配置清单

档位 1：入门 · 1×4090 桌面工作站

部件	推荐	价格
GPU	RTX 4090 24G	1.5 万
CPU	Intel i9-14900K（24 核）	4,500
主板	ASUS ROG Z790-E	4,500
内存	DDR5 6000 64GB	2,000
系统盘	三星 990 Pro 2TB NVMe	1,500
数据盘	4TB NVMe	2,000
电源	海韵 PRIME-TX 1000W 钛金	2,500
散热	360 一体水冷	1,200
机箱	联力 O11D 全塔	1,500
合计		3 万整机

适合：个人开发者、AI 出图工作室、小团队 PoC

---

档位 2：升级 · 2×4090 桌面工作站

部件	推荐	价格
GPU ×2	RTX 4090 ×2	3 万
CPU	Intel Xeon W5-2465X / Threadripper 7960X	1.2 万
主板	ASUS Pro W790 / TRX50（PCIe 5.0 ×16 ×2）	8,000
内存	DDR5 ECC 128GB	5,000
系统盘	三星 990 Pro 2TB	1,500
数据盘	8TB NVMe	4,000
电源	海韵 PRIME 1600W 钛金	4,500
散热	双 360 水冷 + 增风扇	2,500
机箱	联力 V3000 Plus（4 卡机箱）	3,500
合计		7 万整机

⚠️ 关键坑：双 4090 必须用 PCIe 5.0 ×16 ×2 主板（实际是 ×8 ×8），消费级 Z790 只支持 ×16 + ×4，第二张卡降速 75%。

适合：技术团队、中小企业试水

---

档位 3：中端 · 2×A6000 NVLink 工作站

部件	推荐	价格
GPU ×2	NVIDIA A6000 Ada 48G ×2	12 万
NVLink 桥接器	A6000 NVLink	4,000
CPU	Intel Xeon W7-2495X（24 核 5.0GHz）	2 万
主板	ASUS Pro WS W790-ACE	1.2 万
内存	DDR5 ECC 256GB（32GB ×8）	1 万
系统盘	三星 PM9A3 3.84TB U.2	5,000
数据盘	15TB NVMe 阵列	1.5 万
电源	海韵 PRIME 1600W ×2 冗余	1 万
散热	工作站主动散热	5,000
机箱	4U 工作站机箱	3,000
合计		18-22 万

适合：中小企业（10-100 人）日常 AI 平台、需要训练的研发

---

档位 4：高端 · 4×L40S 机房服务器

部件	推荐	价格
GPU ×4	NVIDIA L40S 48G ×4	28 万
服务器底板	超微 4124GS-TNR 4U	3 万
CPU ×2	AMD EPYC 9354（32 核）×2	6 万
内存	DDR5 ECC 512GB（64GB ×8）	2.5 万
系统盘	三星 PM9A3 3.84TB ×2 RAID1	1.2 万
数据盘	NVMe 30TB（7.68TB ×4 RAID5）	4 万
网卡	Mellanox ConnectX-7 100G	1.5 万
电源	服务器自带冗余电源 2200W ×2	含
合计		60-75 万

适合：中型企业（100-500 人）AI 中台、需要扩展到多机

---

档位 5：旗舰 · 8×H100 服务器

部件	推荐	价格
GPU ×8	NVIDIA H100 80G SXM5 ×8	250+ 万
服务器整机	DGX H100 / 超微 821GE-TNHR	含
CPU ×2	Intel Xeon Platinum 8480+	含
内存	DDR5 ECC 2TB	含
数据盘	NVMe 60TB	含
网卡	NVIDIA ConnectX-7 InfiniBand 400G ×4	含
液冷	选配（推荐）	+30 万
整机		300-400 万

适合：大企业、AI 训练、研究机构

---

三、CPU 选型详解

消费级 vs 工作站 vs 服务器

场景	推荐 CPU	原因
单 GPU 桌面	i9-14900K / Ryzen 9 7950X	价格性能比
双 GPU 工作站	Xeon W5/W7 / Threadripper 7000	多 PCIe lane
4 GPU 服务器	EPYC 9004（128 lane）	PCIe lane 数
8 GPU 服务器	双路 Xeon Platinum / 双路 EPYC	多 NUMA + lane

关键参数：PCIe lane

• 单 GPU 需要 16 lane（PCIe 5.0 ×16）
• 4 GPU 服务器需要至少 80 lane
• 8 GPU 服务器需要 128+ lane

消费级 CPU（i9 / Ryzen 9）只有 16-24 lane，直接卡死多 GPU 扩展。

---

四、电源 / 散热 / 机柜

电源功率公式

电源功率 = GPU 满载 ×120% + 其它配件 ×120%

• 1×4090：450W + 350W = 800W → 1000W 电源
• 2×4090：900W + 400W = 1300W → 1600W 钛金
• 2×A6000：600W + 500W = 1100W → 1600W
• 4×L40S：1400W + 700W = 2100W → 2400W ×2 冗余
• 8×H100：5600W + 800W = 6400W → 服务器机架供电

散热方案

配置	推荐散热	备注
1-2×4090 桌面	360 水冷 + 强机箱风道	注意机箱排风
2×A6000 工作站	工作站静音风扇	一般不需要水冷
4×L40S 服务器	服务器自带风冷	PUE 1.4-1.6
8×H100 服务器	液冷强烈推荐	风冷噪音爆炸 + 容易过热

机柜要求

配置	机柜	注意
桌面机	办公室 / 机房均可	噪音 50-60dB
4U 工作站	机房或安静办公室	噪音 60-70dB
4U 服务器	必须机房	噪音 70+dB
8U 旗舰	必须数据中心	单机柜功耗 6kW+

---

五、供应商对比

供应商	强项	弱项	推荐场景
超微（Supermicro）	通用兼容、便宜	售后一般	自己有运维团队
戴尔（Dell）	售后强、稳定	贵 25%	大企业、招投标
联想 ThinkSystem	国产品牌、价格中等	配置不够灵活	国央企客户
浪潮	信创、稳定	创新慢	政府客户
定制商（Linkmetax 等）	灵活、性价比	没有大厂背书	中小企业

---

六、避坑指南

❌ 坑 1：消费级主板装多 GPU

症状：第二张卡 PCIe 降速 ×4，性能损失 75% 对策：双 GPU 必须工作站主板

❌ 坑 2：电源功率不够

症状：满载重启 / 蓝屏 / GPU 降频 对策：按公式 +20% 余量

❌ 坑 3：机箱风道差

症状：GPU 温度墙 85℃+，性能掉 30% 对策：机箱前 3 进 后 3 出，水冷排在前

❌ 坑 4：忘了 NVLink 桥接器

症状：A6000 双卡没 NVLink，多卡训练慢 对策：A6000 / A100 / H100 必配 NVLink

❌ 坑 5：装 Linux 才发现兼容性

症状：NVIDIA 驱动装不上 / 网卡识别不到 对策：买之前确认 Ubuntu 22.04 / 24.04 完整兼容

---

写在最后

8 卡机器自己配会折腾死人。我们 AI 工作站方案 提供：

• 5 档配置全部现货 / 短期订单
• BOM 清单透明，可定制
• 含 Ubuntu / Driver / vLLM / TensorRT-LLM 预装
• 上门部署 + 1 年原厂保修 + 7×24 远程支持

联系销售取定制 BOM →