显存对比 不同显存跑 7B / 13B / 70B 模型速度全对比
· 12 分钟阅读
8G/12G/16G/24G 显存在不同参数量 LLM 下的推理速度、显存占用、OOM 边界实测数据
为什么要关注显存？
跑大模型，显存决定你能不能跑，算力决定跑得快不快。
本文用一张表告诉你：你的显卡能跑多大的模型、速度如何、什么量化级别最合适。
测试环境
- GPU: RTX 3060 12G / RTX 4060 Ti 16G / RTX 3090 24G
- OS: Ubuntu 22.04, CUDA 12.4
- Ollama 0.5.4 / llama.cpp b4360
- 所有模型统一 Q4_K_M 量化
不同显存能跑的最大模型
Q4_K_M 量化（推荐日常使用）
| 显存 | 7B | 13B | 30B | 70B |
|---|
| 8G | ✅ 流畅 | ❌ OOM | ❌ | ❌ |
| 12G | ✅ 充裕 | ⚠️ 刚好(上下文受限) | ❌ | ❌ |
| 16G | ✅ 充裕 | ✅ 流畅 | ❌ | ❌ |
| 24G | ✅ 充裕 | ✅ 充裕 | ⚠️ 刚好 | ❌ |
| 48G (双卡) | ✅ | ✅ | ✅ | ⚠️ 刚好 |
Q8_0 量化（高质量，但显存翻倍）
| 显存 | 7B | 13B | 30B | 70B |
|---|
| 8G | ⚠️ 勉强 | ❌ | ❌ | ❌ |
| 12G | ✅ 流畅 | ❌ | ❌ | ❌ |
| 16G | ✅ 充裕 | ⚠️ 刚够 | ❌ | ❌ |
| 24G | ✅ 充裕 | ✅ 流畅 | ❌ | ❌ |
纯 CPU 推理（不占用显存）
| 配置 | 7B Q4 | 13B Q4 | 70B Q4 |
|---|
| E5 2680 v4 | 5-7 tok/s | 2-3 tok/s | ❌ 内存不够 |
| Mac M1 16G | 15 tok/s | 6 tok/s | ❌ |
| Mac M2 24G | 22 tok/s | 9 tok/s | ⚠️ 0.5 tok/s |
| 双路 E5 + 64G | 6-8 tok/s | 3-4 tok/s | ❌ |
相同模型，不同显存的推理速度
7B Q4_K_M
| 显卡 | 显存 | Prompt 处理 | 生成速度 | 显存占用 |
|---|
| RTX 4060 8G | 8G | 220 tok/s | 28 tok/s | 6.2G |
| RTX 3060 12G | 12G | 280 tok/s | 35 tok/s | 6.5G |
| RTX 4060 Ti 16G | 16G | 350 tok/s | 42 tok/s | 6.8G |
| RTX 3090 24G | 24G | 480 tok/s | 55 tok/s | 6.5G |
| RTX 4090 24G | 24G | 650 tok/s | 80 tok/s | 6.8G |
7B 模型在 8G 显存以上都能流畅运行，性能差异主要来自 GPU 算力而非显存大小。
13B Q4_K_M
| 显卡 | 显存 | Prompt 处理 | 生成速度 | 显存占用 |
|---|
| RTX 3060 12G | 12G | ⚠️ OOM（上下文 > 2048 时） | - | ~11.5G |
| RTX 4060 Ti 16G | 16G | 220 tok/s | 22 tok/s | 12.5G |
| RTX 3090 24G | 24G | 350 tok/s | 38 tok/s | 12.8G |
| RTX 4090 24G | 24G | 480 tok/s | 55 tok/s | 13.0G |
70B Q4_K_M
| 显卡 | 显存 | Prompt 处理 | 生成速度 | 显存占用 |
|---|
| RTX 3090 24G | 24G | ⚠️ OOM | - | ~42G |
| 2× RTX 3090 | 48G | 120 tok/s | 8 tok/s | 42G |
| RTX 4090 24G | 24G | ❌ OOM | - | - |
| 2× RTX 4090 | 48G | 180 tok/s | 12 tok/s | 43G |
70B Q4 模型需要约 42G 显存，只有双卡方案或专业显卡（A6000 48G、A100 80G）才能运行。
上下文窗口长度的影响
很多人忽略了一点：上下文窗口越大，显存占用越多。
7B Q4_K_M + 不同上下文大小
| 上下文长度 | 显存占用 | 相对 4K 增量 |
|---|
| 2048 | 5.8G | - |
| 4096 | 6.5G | 基准 |
| 8192 | 8.2G | +1.7G |
| 16384 | 11.5G | +5.0G |
| 32768 | 18.0G | +11.5G |
实战建议
8G 显存用户：保持 2048-4096 上下文
12G 显存用户：保持 4096-8192 上下文
16G 显存用户：保持 8192-16384 上下文
24G 显存用户：可以开到 32768
量化级别与显存的取舍
7B 模型在不同量化下的表现
| 量化 | 文件大小 | 显存占用 | 质量损失 | 生成速度 |
|---|
| Q2_K | 2.8G | 3.5G | 明显 | 最快 |
| Q3_K_M | 3.5G | 4.2G | 轻微 | 快 |
| Q4_K_M | 4.5G | 5.5G | 几乎无感 | 推荐 |
| Q5_K_M | 5.5G | 6.5G | 极小 | 略慢 |
| Q8_0 | 7.5G | 8.5G | 无损 | 更慢 |
| FP16 | 14G | 15G | 完全无损 | 最慢 |
Q4_K_M 是性价比之王，90% 的用户应该选这个级别。
预算与显卡选择的决策树
你的预算是？
│
├─ ¥2000 以下
│ └─ RTX 3060 12G ← 最佳选择
│ ├─ 能跑 7B Q4 + SD
│ └─ 13B 只有极短上下文能跑
│
├─ ¥3000-3500
│ ├─ RTX 4060 Ti 16G
│ │ ├─ 能跑 13B Q4
│ │ └─ SD 批量出图无压力
│ └─ 二手 RTX 3090 24G ← 如果能淘到
│ ├─ 能跑 30B Q4（短上下文）
│ └─ SD 出图飞快
│
├─ ¥5000-7000
│ ├─ 二手 RTX 3090 24G + E5 双路 ← 推荐
│ │ └─ 几乎能跑一切开源模型
│ └─ RTX 4070 Ti Super 16G
│ └─ 单卡最强性价比（新卡）
│
└─ ¥10000+
└─ 二手 RTX 4090 24G
└─ 消费级天花板
快速决策表
| 你主要想玩 | 最低要求 | 推荐配置 |
|---|
| 7B 聊天 | 6G 显存 | 12G + 任何四核 CPU |
| 7B + SD 出图 | 12G 显存 | 12G + E5 2680 v4 |
| 13B 模型 | 16G 显存 | 16G + 8核以上 CPU |
| SD 批量出图 | 12G 显存 | 16G + 大内存 |
| 70B 模型 | 48G 显存 | 双 3090 / A6000 |
| 纯 CPU 推理 | 8G 内存 | E5 2696 v3 + 32G |
结论
显存和模型大小的关系，记住三条黄金法则：
- 模型显存 ≈ 参数量(GB) × (量化位数/2)，例如 7B Q4 ≈ 7 × 0.5 = 3.5G + 1-2G 上下文开销
- 宁可显卡差一点，也要显存大一点——能跑比跑得快重要得多
- 12G 显存是入门门槛，16G 是甜点，24G 是理想