Windows 轻松部署谷歌gemma开源模型 (可视化操作)
一、安装Ollama (通过它部署谷歌gemma模型)
目前Ollama支持的模型如下图所示:

这里我们以Windows系统为例来演示,首先去Ollama的官网或者GitHub页面下载最新的Windows版本安装包:
https://ollama.com/
https://github.com/ollama/ollama


下载安装包后,一路点击“下一步”安装即可。

完成安装后,点击桌面图标运行Ollama,此时桌面右下角Windows系统托盘里有正在运行羊驼图标:

接下来我们进入CMD命令提示符,输入“ollama --version",当看到ollama版本号正确显示时,就已经完成安装了。

二、拉取并运行Gemma模型
这一步我们直接使用最简单的方法,使用Ollama来拉取Gemma的模型文件。请注意,由于文件服务器在国外,所以我们需要一些魔法上网的技巧,请自行研究。
以对电脑配置要求最低的Gemma 2b基础版模型为例,在命令提示符中,我们输入ollama run gemma:2b代码并回车,Ollama会自动从模型库中拉取模型文件并进行运行。当模型加载后,会显示success的标识,此时我们就可以输入汉字与Gemma:2b进行对话了。

如果想要结束对话,我们可以在Gemma的信息输入框中输入/bye即可。

到底为止,Gemma在我们本地已经部署成功了,这里顺带说些其他的事儿。
1.首先Ollama虽然在GitHub页面中只列出了Gemma 2b和7b基础版模型的拉取代码,但实际上我们还是能通过它来拉取全量版模型的,拉去2B代码如下:
ollama run gemma:2b
如果拉去全量的模型如下:
ollama run gemma:2b-instruct-fp16
ollama run gemma:7b-instruct-fp16
2.想要知道目前Ollama中已经拉取了哪些模型,可以用ollama list来实现:

Ollama的其他命令可以参考下图:

三、使用JAN AI美化UI界面(通过它直观进行对话)
通过Ollama在本地部署Gemma后,我们虽然能在命令提示符中与模型对话,但是这种方式未免也太过麻烦了,所以还是需要有一个类似nextChat之类的软件来美化一下UI界面,同时还可以实现更多功能。

本来Ollama官方推出了open-webui这个开源项目,不过目前该项目尚未推出Windows安装包,在wsl中使用docker安装的方式又有点儿麻烦,所以经过实现,这里还是选择UI非常好看的JAN AI来与Ollama进行链接吧。
首先我们要到JAN的官方网站下载Windows客户端,并直接安装:
https://jan.ai/

在JAN的官网上,有非常详细的操作手册,我们可以在其中找到关于如何链接Ollama的方法。
1.启动 Ollama 服务器
首先我们要通过命令提示符启动 Ollama 服务器,并且加载运行我们要跑的Gemma版本,这里以7b全量版为例:

根据有关 OpenAI 兼容性的 Ollama 文档,Ollama在运行时会提供类似OpenAI的API服务,我们可以使用网址 http://localhost:11434/v1/chat/completions 连接到 Ollama 服务器。
我们需要去JAN的安装地址,一般是“C:\Users\你的用户名\jan\engines”中找到penai.json 文件,在其中修改为Ollama 服务器的完整网址。
示例如下:
{ "full_url": "http://localhost:11434/v1/chat/completions"}
2.模型配置
进入jan安装位置的models 文件夹,创建一个在Ollama中运行的模型同名的文件夹,例如gemma:7b-instruct-fp16。

然后在文件夹内创建一个 model.json 文件,在其中将 id 属性设置为 Ollama 模型名称,将格式属性设为 api,将引擎属性设为 openai,将状态属性设为 ready。
示例如下:
{ "sources": [ { "filename": "gemma:2b", "url": "https://ollama.com/library/gemma:2b" } ], "id": "gemma:2b", "object": "model", "name": "Ollama - gemma:2b", "version": "1.0", "description": "gemma:2b by ollama", "format": "api", "settings": {}, "parameters": {}, "metadata": { "author": "Meta", "tags": ["General", "Big Context Length"] }, "engine": "openai"}
这里注意,其实直接调用ollama里面自导的2b模型文件即可,然后修改2个参数的值为如下:
format 的值修改为 api
engine 的值修改为 opeai
3.启动模型
重新启动 Jan ,在模型HUB中找到我们刚才新建的gemma:2b,然后点击“USE”即可。

接下来我们就可以和Gemma进行正常对话了,比如问一问它,写年终总结报告要注意点啥事儿:

布施恩德可便相知重
微信扫一扫打赏
支付宝扫一扫打赏