本地部署deepseek

子车轻罗 2025/1/28

# 安装Ollama

根据自己平台下载对应的Ollama安装程序，安装即可。下载地址 (opens new window)

配置环境变量：

OLLAMA_MODELS='D:\ollama_models' // 可以减少C盘占用

OLLAMA_HOST=0.0.0.0:11434 //默认监听127.0.0.1

linux下也是同样的配置，但配置方法有些不同，配置在profile或bashrc中无效，需要在命令行中配置

export OLLAMA_HOST=0.0.0.0:11434 
export OLLAMA_MODELS=/your/models/path // 不生效，默认存在~/.ollama/models

1
2

# 部署deepseek

可根据自己电脑显卡显存配置下载不同参数模型，如1.5b可在集成显卡运行。具体可在ollama模型仓库 (opens new window)搜索自己想要部署的模型，点击详情就有安装命令。

启动ollama

如果是windows，可以直接点击图标启动即可，如果是linux需要执行ollama serve，如需修改监听地址需要配置上述变量。

linxu可以使用systemctl管理

vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama AI Service
After=network.target

[Service]
Type=simple
User=<your-username>
WorkingDirectory=<your-path>
ExecStart=/usr/local/bin/ollama serve  #你的ollama绝对路径
Restart=on-failure
Environment="OLLAMA_MODELS=<your-path>;OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=multi-user.target
#保存
systemctl start ollama
#查看日志
journalctl -u ollama -f

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

打开终端(CMD)，执行以下命令部署1.5b模型

ollama run deepseek-r1:1.5b

其他命令：

ollama list //查看已下载的大模型

# 配置nginx代理

   #url增加前缀来区分为ollama的请求
  location  /ollama {
        rewrite ^/ollama(.*)$ $1 break;
        proxy_pass http://127.0.0.1:11434;
        #proxy_set_header host $host;
        proxy_set_header origin http://127.0.0.1:11434;
        proxy_set_header Connection "keep-alive";
        proxy_set_header Transfer-Encoding chunked;

        # 设置 Nginx 不对 SSE 响应进行缓冲，直接透传给客户端，流式输出
        proxy_buffering off;
        proxy_read_timeout 200s;
        # 关闭代理缓存
        proxy_cache off;
  }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 安装PageAssist

打开chrome应用商店搜索PageAssist安装
点击PageAssist插件，设置，
1. 一般设置，语言改为中文，【管理网络搜索】搜索引擎DuckDuckGo,总搜索结果10，默认开启网络搜搜，保存
2. ollama设置，ollama URl默认本地部署配置127.0.0.1:11434,如果服务器部署，需要保证监听地址为0.0.0.0:11434,配置其地址即可。一般来说可能会通过网关访问，此时服务器配置
```
 Ollama URL:https://${domain}/ollama
如：  https://deepseek.com/ollama
```
  1
  2
3. RAG设置【可选】，文本嵌入模型选择自己安装的deepseek模型，文本分割器选择CharacterTextSplitter，保存。返回
4. 新聊天，右侧选择自己安装的deepseek模型，和设置中的匹配

# 使用

此时可使用deepseek大模型。

子车轻罗的博客

Choose mode

本地部署deepseek

本地部署deepseek

# 安装Ollama

# 部署deepseek

# 配置nginx代理

# 安装PageAssist

# 使用