网站建设公司发展前景2022最近热点事件及评述

本文系统环境

Windows 10

Ollama 0.5.7

Ollama 是什么？

Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用

Ollama 的安装

Ollama 官网 有其下载及安装方法，非常简便

但如果希望不占用系统盘大量空间，可以参考 Ollama Windows 文档 这样安装

1. 把 Ollama 安装到其它磁盘

命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下，运行如下命令，指定你希望的安装目录

OllamaSetup.exe /DIR="D:\Program Files\Ollama"

2. 更改 Ollama 的模型存放位置

Ollama 后续下载安装的模型默认存放在系统盘，会非常占用位置

设置 OLLAMA_MODELS 系统变量，指定希望的模型存放目录

设置完后，如果 Ollama 服务已在运行，要重启一下 Ollama 服务方能生效

从 ModelScope 下载模型并加载

Ollama 官方安装模型的方法很简单

例如：

ollama run qwen2.5

但下载速度一般非常慢

我们可以从 ModelScope 先下载模型，再通过 Ollama 加载模型

1. 下载 GGUF 格式模型

Ollama 能轻易加载 GGUF 格式的模型，检索 GGUF 模型进行下载

推荐用官方命令行方式下载，下载过程中有进度条，可指定下载目录

modelscope download --model 'Qwen/Qwen1.5-0.5B-Chat-GGUF' --local_dir 'D:\Models\Qwen1.5-0.5B-Chat-GGUF'

下载完成后，目录类似这样：

关于 gguf 文件，简单理解就是体积越大的回答准确率就越高

2. 加载 GGUF 模型

参考 Ollama 关于加载 GGUF 的说明 和 Qwen 官网关于 Ollama 加载 GGUF 模型 的文档

在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件

Modelfile 文件内容如下

FROM ./qwen1_5-0_5b-chat-q5_0.gguf

在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令

ollama create qwen1.5:0.5b -f Modelfile

至此，在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据

Ollama 运行模型

由于 Ollama 已安装，因此 ollama 命令可用

ollama run qwen1.5:0.5b