MiniGPT-4：使用高级大型语言模型增强视觉语言理解

这个应该不用详细介绍了，如果想了解的可以自行搜索“MiniGPT-4”相关资料。或者直接去https://github.com/Vision-CAIR/MiniGPT-4 了解它的强大，不过它也只是基于Vicuna-7B加入了视觉的识别。下面就讲一下它如何进行部署，其实非常非常简单。

在使用前，请一定须知，，

Vicuna 13B模型需要 大约 23G GPU 内存。

Vicuna 7B模型需要 大约 11.5G GPU 内存。

下面的讲解以13B模型来讲解！！！

安装

1.准备代码和环境

Git 克隆我们的存储库，创建一个 python 环境并通过以下命令激活它

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

2.准备预训练的Vicuna权重

当前版本的 MiniGPT-4 建立在 Vicuna-13B 的 v0 版本之上。然后注意，下载别人已经帮助我们重构好的vicuna权重模型。
地址是：https://huggingface.co/wangrongsheng/MiniGPT-4-LLaMA
最终权重将位于类似于以下结构的单个文件夹中：

vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...   

然后，修改/minigpt4.yaml配置文件，在第16行的模型配置文件中设置 vicuna 权重的路径 。 这个路径就是上面你下载的那个权重模型的存放路径

3.准备预训练的MiniGPT-4检查点

根据你准备的Vicuna模型下载预训练的checkpoints。。。 注意，上面你下载的可是 13b 模型哈，所以这里也要使用13B的检查点

与 Vicuna 13B 对齐的检查站	与 Vicuna 7B 对齐的检查站
下载	下载

然后，修改minigpt4_eval.yaml文件，，在第 11 行的eval_configs/minigpt4_eval.yaml中的评估配置文件中设置预训练检查点的路径。

在本地启动演示

通过运行在本地计算机上试用我们的演示demo.py

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0

为了节省 GPU 内存，Vicuna 默认加载 8 位，束搜索宽度为 1。此配置需要 Vicuna 13B 大约 23G GPU 内存和 Vicuna 7B 11.5G GPU 内存。对于更强大的 GPU，您可以通过在配置文件minigpt4_eval.yaml中将 low_resource 设置为 False并使用更大的波束搜索宽度来以16 位运行模型 。

文章来源：https://github.com/Vision-CAIR/MiniGPT-4