A-A+

Windows 轻松部署谷歌gemma开源模型 (可视化操作)

2024年03月19日 15:13 汪洋大海 暂无评论 共2275字 (阅读292 views次)

一、安装Ollama (通过它部署谷歌gemma模型)

Ollama 是一个专为运行、创建和分享大型语言模型而设计的开源项目,为开发者和研究者提供了一个平台,使得他们可以更方便地部署、管理和使用这些大型语言模型。目前Ollama支持支持 macOS、Windows、Linux 和 Docker等多种安装方式,还能通过 API 方式为本地 AI 服务提供便捷途径。

目前Ollama支持的模型如下图所示:

这里我们以Windows系统为例来演示,首先去Ollama的官网或者GitHub页面下载最新的Windows版本安装包:

https://ollama.com/

https://github.com/ollama/ollama

下载安装包后,一路点击“下一步”安装即可。

完成安装后,点击桌面图标运行Ollama,此时桌面右下角Windows系统托盘里有正在运行羊驼图标:

接下来我们进入CMD命令提示符,输入“ollama --version",当看到ollama版本号正确显示时,就已经完成安装了。

二、拉取并运行Gemma模型

这一步我们直接使用最简单的方法,使用Ollama来拉取Gemma的模型文件。请注意,由于文件服务器在国外,所以我们需要一些魔法上网的技巧,请自行研究。

以对电脑配置要求最低的Gemma 2b基础版模型为例,在命令提示符中,我们输入ollama run gemma:2b代码并回车,Ollama会自动从模型库中拉取模型文件并进行运行。当模型加载后,会显示success的标识,此时我们就可以输入汉字与Gemma:2b进行对话了。

如果想要结束对话,我们可以在Gemma的信息输入框中输入/bye即可。

到底为止,Gemma在我们本地已经部署成功了,这里顺带说些其他的事儿。

1.首先Ollama虽然在GitHub页面中只列出了Gemma 2b和7b基础版模型的拉取代码,但实际上我们还是能通过它来拉取全量版模型的,拉去2B代码如下:

ollama run gemma:2b

 

如果拉去全量的模型如下:

ollama run gemma:2b-instruct-fp16

ollama run gemma:7b-instruct-fp16

 

2.想要知道目前Ollama中已经拉取了哪些模型,可以用ollama list来实现:

Ollama的其他命令可以参考下图:

三、使用JAN AI美化UI界面(通过它直观进行对话)

通过Ollama在本地部署Gemma后,我们虽然能在命令提示符中与模型对话,但是这种方式未免也太过麻烦了,所以还是需要有一个类似nextChat之类的软件来美化一下UI界面,同时还可以实现更多功能。

本来Ollama官方推出了open-webui这个开源项目,不过目前该项目尚未推出Windows安装包,在wsl中使用docker安装的方式又有点儿麻烦,所以经过实现,这里还是选择UI非常好看的JAN AI来与Ollama进行链接吧。

首先我们要到JAN的官方网站下载Windows客户端,并直接安装:

https://jan.ai/

在JAN的官网上,有非常详细的操作手册,我们可以在其中找到关于如何链接Ollama的方法。

1.启动 Ollama 服务器

首先我们要通过命令提示符启动 Ollama 服务器,并且加载运行我们要跑的Gemma版本,这里以7b全量版为例:

根据有关 OpenAI 兼容性的 Ollama 文档,Ollama在运行时会提供类似OpenAI的API服务,我们可以使用网址 http://localhost:11434/v1/chat/completions 连接到 Ollama 服务器。

我们需要去JAN的安装地址,一般是“C:\Users\你的用户名\jan\engines”中找到penai.json 文件,在其中修改为Ollama 服务器的完整网址。

示例如下:

{  "full_url": "http://localhost:11434/v1/chat/completions"}

2.模型配置

进入jan安装位置的models 文件夹,创建一个在Ollama中运行的模型同名的文件夹,例如gemma:7b-instruct-fp16。

然后在文件夹内创建一个 model.json 文件,在其中将 id 属性设置为 Ollama 模型名称,将格式属性设为 api,将引擎属性设为 openai,将状态属性设为 ready。

示例如下:

{  "sources": [    {      "filename": "gemma:2b",      "url": "https://ollama.com/library/gemma:2b"    }  ], "id": "gemma:2b",  "object": "model",  "name": "Ollama - gemma:2b",  "version": "1.0",  "description": "gemma:2b by ollama",  "format": "api",  "settings": {},  "parameters": {},  "metadata": {    "author": "Meta",    "tags": ["General", "Big Context Length"]  },  "engine": "openai"}

 

这里注意,其实直接调用ollama里面自导的2b模型文件即可,然后修改2个参数的值为如下:

format 的值修改为 api

engine 的值修改为 opeai

 

3.启动模型

重新启动 Jan ,在模型HUB中找到我们刚才新建的gemma:2b,然后点击“USE”即可。

接下来我们就可以和Gemma进行正常对话了,比如问一问它,写年终总结报告要注意点啥事儿:

布施恩德可便相知重

微信扫一扫打赏

支付宝扫一扫打赏

×

给我留言