双路E5

双路 E5 + 双显卡：5000 块搭一台推理服务器

· 18 分钟阅读

利用 E5 平台丰富的 PCIe 通道和低廉的价格，打造一台双路双卡 AI 推理服务器的完整教程

为什么需要双路双卡？

当你开始认真玩 AI 模型后，很快会发现单卡的瓶颈：

  • 显存不够：70B 模型需要 40G+ 显存，单卡 24G 的 3090 也跑不动
  • 吞吐不够：多用户并发请求时，单卡排队严重
  • 想要同时跑：LLM 推理 + SD 出图 + 语音识别同时进行

双路 E5 + 双卡方案就是为解决这些问题而生的。

完整配置单

配件型号价格
CPU ×2E5 2696 v3 (18核36线程 ×2 = 36核72线程)¥300
主板华南金牌 X99-Dual (双路)¥500
内存DDR4 RECC 2133 64G (8×8G)¥240
显卡 ×2RTX 3060 12G ×2¥3,400
固态1TB NVMe¥300
电源长城 1000W 金牌¥300
散热 ×2双塔风冷¥160
总计¥5,200

双路主板选购

华南金牌 X99-Dual

目前最主流的选择，两个 LGA 2011-3 插座。

关键规格：

  • 8 条 DDR4 RECC 插槽（每路 4 条）
  • 4 条 PCIe 3.0 x16 插槽（物理 x16，实际 x8 模式）
  • 2 个 M.2 NVMe 插槽
  • 双千兆网口

坑点注意：

  • 两个 CPU 的 PCIe 通道数固定：每个 CPU 只有 20 条可用，分给两张显卡后每组只有 x8
  • 但实测：RTX 3060 在 PCIe 3.0 x8 下性能损失仅 2-3%，完全可以接受
  • BIOS 必须更新到 2024 年以后的版本，否则不支持 E5 v4

双显卡配置要点

硬件安装

# 显卡槽位推荐
CPU0 → Slot 1: 显卡1 (主卡，接显示器)
CPU0 → Slot 2: NVMe 固态
CPU1 → Slot 3: 显卡2 (纯计算)
CPU1 → Slot 4: 万兆网卡(可选)

驱动安装（Ubuntu 22.04）

# 安装 NVIDIA 驱动
sudo apt update
sudo apt install nvidia-driver-550 nvidia-utils-550

# 验证两张卡都被识别
nvidia-smi

# 输出应看到两张 RTX 3060
# +-----------------------------------------------------------------------+
# | GPU  Name                 Pwr  Bus Id        Memory-Usage             |
# | 0    NVIDIA RTX 3060      12G  00000000:01:00.0  On                  |
# | 1    NVIDIA RTX 3060      12G  00000000:41:00.0  On                  |
# +-----------------------------------------------------------------------+

配置 vLLM 多卡推理

vLLM 原生支持张量并行（Tensor Parallel），多张卡可以协同推理一个大模型：

# 安装 vLLM
pip install vllm

# 用两张卡跑 13B 模型（Q4 量化）
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-13B-Instruct-GPTQ-Int4 \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.90 \
    --host 0.0.0.0 \
    --port 8000

Ollama 多卡配置

# 设置环境变量让 Ollama 使用两张卡
export CUDA_VISIBLE_DEVICES=0,1
ollama pull qwen2.5:7b

# ollama 运行在单卡上
ollama run qwen2.5:7b

# 两张卡分别跑不同模型（推荐用法）
# 终端1：显卡0 跑 LLM
CUDA_VISIBLE_DEVICES=0 ollama run qwen2.5:7b

# 终端2：显卡1 跑 SD
CUDA_VISIBLE_DEVICES=1 python -m comfyui

双路 CPU 性能实测

多卡推理测试

场景单卡双卡（TP2）提升
7B Q4 推理35 tok/s62 tok/s+77%
13B Q4 推理18 tok/s33 tok/s+83%
同时 LLM + SD卡顿严重流畅并行-
2 用户并发排队严重几乎无感-

CPU 多任务能力

36 核 72 线程的 E5 2696 v3 双路，跑多任务时的表现：

负载场景CPU 占用是否影响推理
编译 llama.cpp（make -j72）100% 满生成速度下降 30%
运行 4 个 Docker 容器15-20%几乎无影响
文件解压 + 模型下载25-30%轻微影响
后台运行 vLLM 服务8-12%无影响

电源与散热方案

电源选择

整套配置的峰值功耗：

  • 2× E5 2696 v3：约 260W（145W TDP × 双路实际功耗）
  • 2× RTX 3060 12G：约 340W（170W TDP × 2）
  • 其他配件：约 80W
  • 合计峰值：约 680W

推荐电源：

  • 最低：850W 金牌（长城/鑫谷）
  • 推荐：1000W 金牌（海韵/振华/长城）
  • 冗余系数：1.4x 以上，确保峰值不跳闸

散热方案

双路 E5 的发热量不容小觑：

散热器待机温度满载温度噪音
双塔风冷（利民 PA120）42°C72°C中等
240 水冷38°C65°C低
360 水冷35°C58°C低

⚠️ 注意：双路主板两个 CPU 插座间距很小，必须用窄体散热器。推荐利民 PA120 mini 或 id-cooling SE-226-XT。

机箱选择

双路主板是 E-ATX 规格（30.5cm × 33cm），普通 ATX 机箱装不下：

  • 骨伽 乘风 MX600：兼容 E-ATX，空间大，散热好
  • 先马 黑洞 X：静音机箱，适合放家里
  • 联力 包豪斯 O11D：展示级，适合上水冷
  • 最省钱方案：开放式机架（淘宝 40 元），散热最好但防尘差

使用场景推荐

场景 1：个人 AI 实验室

双路双卡方案最适合一个人同时跑多个模型：

  • 日常聊天用 Qwen2.5-7B（卡0，快速响应）
  • 同时后台跑 SD 出图（卡1，慢慢生成）
  • 完全不冲突，效率翻倍

场景 2：小型团队共享

部署 vLLM 服务后，多用户可以同时使用：

# 启动 vLLM 兼容 OpenAI API 的服务
python -m vllm.entrypoints.openai.api_server \
    --model Qwen2.5-7B-Instruct \
    --tensor-parallel-size 2 \
    --max-num-seqs 8

# 其他机器通过 OpenAI 客户端连接
curl http://192.168.1.100:8000/v1/chat/completions \
    -d '{"model":"Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"你好"}]}'

总结与建议

双路双卡方案的核心价值：以单台中端游戏主机 60% 的价格，获得接近专业 AI 工作站的多任务处理能力。

强烈推荐给：

  • 同时玩 LLM 和 SD 的玩家
  • 需要搭小型 AI 服务的团队
  • 想学习 CUDA 并行编程的开发者

劝退人群：

  • 只玩一个模型的新手（单卡方案更省心）
  • 对噪音敏感的用户（双路满载噪音明显）
  • 租房党/经常搬家的人（整机非常重，约 15kg）
双路E5多卡推理服务器vLLMPCIe