Windows 10下部署ollama本地大模型

Ollama 在本地简单的运行llama

Ollama 是一个简化的工具，用于在本地运行开源 LLM，包括 Mistral 和 Llama 2。
地址:https://ollama.com/

安装

网址：https://ollama.com/download

image.png

1.从官方网站下载 Ollama。
2.下载后，安装过程简单明了，与其他软件安装类似。
windows 的安装默认不支持修改程序安装目录，
默认安装后的目录：C:\Users\zhtop\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\zhtop\ .ollama
默认的配置文件目录：C:\Users\zhtop\AppData\Local\Ollama

image.png

修改默认的安装模型目录

在config.json里面配置model_dir目录不知道为啥没有生效，始终都是在默认的c盘目录中，在这使用另一个方式，作为临时解决方案,可以考虑在 C 盘下创建一个符号链接,指向想要使用的目录。这样即使 ollama 无法直接更改模型目录,也可以通过符号链接的方式实现。
1.复制C:\Users\zhtop\ .ollama目录下的所有文件到D:\ProgramData\Ollama
2.删除.ollama文件目录，即C:\Users\zhtop\ .ollama
3.以管理员身份运行cmd,执行mklink /d C:\Users\zhtop\ .ollama D:\ProgramData\Ollama

image.png

运行llama3

image.png

打开终端输入命令：

ollama run llama2

image.png

下载完成，提示send a message ? 然后我们测试一个问题。

image.png

可以切换安装其他版本的大模型

ollama run llama3 
ollama run llama3:8b
ollama run llama3:70b
ollama run llama3:instruct
ollama run llama3:70b-instruct