环境准备
以下步骤在Windows11系统的PC上测试。显卡使用了NVIDIA GeForce GTX 1080。
搭建步骤
1. 下载安装Ollama
打开网址https://ollama.com/,下载Windows版并安装。安装完成后,打开CMD或PowerShell命令行,执行:
ollama -v
如果显示诸如“ollama version is 0.5.7”的版本信息则说明安装成功。
2. (可选)修改模型下载路径
模型文件默认会被下载到C:\Users\<用户名>\.ollama\models
目录中。如需修改下载路径请按以下方法操作:
打开系统属性,进入环境变量设置。在“环境变量”窗口中的“用户变量”区域新建一个变量名为OLLAMA_MODELS
、变量值为自定义下载路径的环境变量,按“确定”保存环境变量。
对任务栏中的Ollama图标(羊驼头像)右键->“Quit Ollama”关闭,然后从开始菜单中再次启动Ollama,使刚才的设置生效。
3. 下载并启动deepseek-r1模型
打开https://ollama.com/library/deepseek-r1。可以看到从1.5b到671b不同规格的模型。
想好自己需要的模型,在命令行中执行启动命令:
ollama run deepseek-r1:8b
# 这里以使用8b的4.9GB模型为例。
# 执行中似乎整个模型会被读入显卡的显存。所以就经验来说,不要让模型大小超过显存。
初次执行该命令,Ollma会自动下载模型以及所需要的文件(下载后再次执行不会重新下载)。下载完成后模型会自动启动,可以开始愉快对话了:)
关于性能
以下为模型运行中的GPU使用情况,仅供参考。GTX 1080跑8b模型文本生成速度还是很快的。可以看到显存被大量使用,以及DeepSeek模型在思考和输出文本过程中,GPU的3D部分被大量使用。
退出模型并不会使GPU占用消失,需要关闭Ollama才行。