Ollama

5 分钟本地跑起 DeepSeek — Ollama 从安装到聊天

· 8 分钟阅读

手把手教你用 Ollama 在本地部署 DeepSeek/Qwen 等大语言模型，从下载安装到 CLI/API 调用全流程，支持 Windows 和 Linux

Ollama 是什么？

Ollama 是目前最流行的本地 LLM 运行工具，它可以让你像使用 docker 一样简单地运行各种大语言模型。不需要配置复杂的 Python 环境、不需要手动管理 CUDA 依赖、不需要理解模型文件格式。

一句话概括：Ollama = 大模型界的 Docker。

安装 Ollama

Windows

下载安装包直接装：

  1. 访问 ollama.com/download 下载 Windows 版本
  2. 双击安装，一路下一步
  3. 安装完成后，任务栏会出现 Ollama 图标
  4. 打开终端（CMD / PowerShell），验证安装：
ollama --version
# 输出类似：ollama version 0.5.4

Linux (Ubuntu/Debian)

# 一行命令安装
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version

macOS

# 直接用 Homebrew
brew install ollama

# 或者去官网下载 .dmg 安装包

下载并运行你的第一个模型

1. 拉取 DeepSeek 模型

Ollama 的模型都托管在 ollama.com/library，我们可以直接拉取：

# 拉取 DeepSeek-R1 7B 量化版（推荐入门）
ollama pull deepseek-r1:7b

# 如果你显存足够（16G+），可以拉 14B 版本
ollama pull deepseek-r1:14b

下载过程取决于你的网速，7B 模型大约 4.5GB，一般 5-15 分钟。

2. 开始聊天

# 直接进入交互式聊天
ollama run deepseek-r1:7b

# 看到 >>> 提示符后就可以对话了
>>> 你好，请介绍一下你自己
# 模型会实时生成回答...

3. 进阶用法

# 一行命令输出结果（适合脚本调用）
ollama run deepseek-r1:7b "用 Python 写一个快速排序"

# 指定上下文窗口大小（显存不够时调小）
ollama run deepseek-r1:7b --num-ctx 4096

# 设置温度参数（0=确定输出，1=创意输出）
ollama run deepseek-r1:7b --temperature 0.7

热门模型推荐

中文能力最强

# Qwen2.5 系列 - 阿里出品，中文最强
ollama pull qwen2.5:7b      # 7B，12G显存推荐
ollama pull qwen2.5:14b     # 14B，24G显存推荐
ollama pull qwen2.5:32b     # 32B，需要双卡或 CPU

# DeepSeek 系列 - 推理能力强
ollama pull deepseek-r1:7b  # 带思维链推理
ollama pull deepseek-r1:14b # 更强推理能力

英文能力最强

# Llama 3.2 / 3.1
ollama pull llama3.2:3b     # 轻量快速
ollama pull llama3.1:8b     # 综合能力最强

# Mistral / Mixtral
ollama pull mistral:7b      # 高效轻量

代码编程专用

ollama pull codellama:7b     # Meta 出品的代码模型
ollama pull deepseek-coder:6.7b  # DeepSeek 代码模型

Ollama API 调用

Ollama 安装后默认在本机的 11434 端口启动了一个 API 服务。你可以用任何语言的 HTTP 客户端调用：

curl 示例

curl http://localhost:11434/api/generate \
  -d '{
    "model": "deepseek-r1:7b",
    "prompt": "为什么深度学习需要 GPU？",
    "stream": false
  }'

Python 调用

pip install requests
import requests

response = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "deepseek-r1:7b",
        "messages": [
            {"role": "user", "content": "用比喻解释什么是 Transformer"}
        ],
        "stream": True  # 流式输出
    }
)

for line in response.iter_lines():
    if line:
        print(line.decode())

Node.js 调用

const response = await fetch("http://localhost:11434/api/chat", {
  method: "POST",
  body: JSON.stringify({
    model: "deepseek-r1:7b",
    messages: [{ role: "user", content: "你好" }],
    stream: true
  })
});

for await (const chunk of response.body) {
  process.stdout.write(chunk.toString());
}

实用技巧

修改模型存储位置

Ollama 默认将模型下载到系统盘，如果你空间不够可以更改：

# Linux/macOS
export OLLAMA_MODELS=/path/to/your/models

# Windows (环境变量)
setx OLLAMA_MODELS "D:\ollama_models"

Ollama Web 界面

只有命令行不够直观？搭配 Web UI 使用：

# 方案1：Ollama 自带 Web UI（实验性）
ollama serve  # 然后在浏览器访问 http://localhost:11434

# 方案2：Open WebUI（推荐）
docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --add-host=host.docker.internal:host-gateway \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

# 访问 http://localhost:3000，选择 Ollama 作为后端即可

在 VS Code 中使用

安装 Continue 插件，在配置中选择 Ollama 作为 provider：

{
  "models": [{
    "title": "DeepSeek 7B",
    "provider": "ollama",
    "model": "deepseek-r1:7b"
  }]
}

性能优化

显存不够怎么办？

# 方案1：减少上下文窗口
ollama run deepseek-r1:7b --num-ctx 2048

# 方案2：使用更小的量化版本
ollama pull deepseek-r1:7b:q4_0  # 更小但速度更快

# 方案3：纯 CPU 运行（牺牲速度）
export OLLAMA_CUDA=0  # 禁用 GPU
ollama run deepseek-r1:7b  # 纯 CPU 模式

多卡用户

# 使用所有 GPU
export CUDA_VISIBLE_DEVICES=0,1

# 仅使用特定显卡
export CUDA_VISIBLE_DEVICES=1

常见问题

Q：Ollama 运行闪退？

  • 检查是否安装了最新的 NVIDIA 驱动（建议 550+）
  • 显存不足时尝试更小的模型
  • Windows 用户请关闭杀毒软件

Q：中文回答质量不好？

  • 优先使用 Qwen2.5 或 DeepSeek 系列模型
  • Llama 对中文支持一般，需要提示词引导

Q：模型回答很慢？

  • 检查是否用了 CPU 模式（Ollama 默认会使用 GPU）
  • 7B 模型在 3060 12G 上应有 25-35 tok/s
  • 如果只有 5-8 tok/s，说明在用 CPU 推理

下一步

现在你已经能本地运行 LLM 了，接下来可以尝试：

OllamaDeepSeekLLM部署入门教程命令行