整活 · 1 2 月, 2025 0

Windows本地部署DeepSeek离线使用生成式AI大模型

环境准备

以下步骤在Windows11系统的PC上测试。显卡使用了NVIDIA GeForce GTX 1080。

搭建步骤

1. 下载安装Ollama

打开网址https://ollama.com/,下载Windows版并安装。安装完成后,打开CMD或PowerShell命令行,执行:

ollama -v

如果显示诸如“ollama version is 0.5.7”的版本信息则说明安装成功。

2. (可选)修改模型下载路径

模型文件默认会被下载到C:\Users\<用户名>\.ollama\models目录中。如需修改下载路径请按以下方法操作:

打开系统属性,进入环境变量设置。在“环境变量”窗口中的“用户变量”区域新建一个变量名为OLLAMA_MODELS、变量值为自定义下载路径的环境变量,按“确定”保存环境变量。

对任务栏中的Ollama图标(羊驼头像)右键->“Quit Ollama”关闭,然后从开始菜单中再次启动Ollama,使刚才的设置生效。

3. 下载并启动deepseek-r1模型

打开https://ollama.com/library/deepseek-r1。可以看到从1.5b到671b不同规格的模型。
deepseek-r1

想好自己需要的模型,在命令行中执行启动命令:

ollama run deepseek-r1:8b
# 这里以使用8b的4.9GB模型为例。
# 执行中似乎整个模型会被读入显卡的显存。所以就经验来说,不要让模型大小超过显存。

初次执行该命令,Ollma会自动下载模型以及所需要的文件(下载后再次执行不会重新下载)。下载完成后模型会自动启动,可以开始愉快对话了:)
deepseek-conv

关于性能

以下为模型运行中的GPU使用情况,仅供参考。GTX 1080跑8b模型文本生成速度还是很快的。可以看到显存被大量使用,以及DeepSeek模型在思考和输出文本过程中,GPU的3D部分被大量使用。
deepseek-perf

退出模型并不会使GPU占用消失,需要关闭Ollama才行。