极低资源微调大模型方法LoRA以及BLOOM-LORA实现代码

极低资源微调大模型方法LoRA以及BLOOM-LORA实现代码
一、LoRA的原理 ​ LoRA是一种以极低资源微调大模型的方法，其来自于论文LoRA: Low-Rank Adaptation of Large Language Models。 1. 大模型微调的困境 ​ 随着模型规模的不断扩大，模型会"涌现"出各种能力。特别是对大语言模型(LLM)来说，随着规模的扩大其在zero-shot、常识推理等能力上会有大幅度的提高。相比于规模较小的模型，大模型的微调成本和部署成本都非常高。例如，G...
2023年04月27日 汪洋大海 暂无评论 喜欢 0 阅读 2,090 views 次 阅读全文

zhwiki 中文维基百科数据获取与清洗处理

zhwiki 中文维基百科数据获取与清洗处理
1 Wikipedia构建 参考教程参考：https://blog.51cto.com/u_15127535/2697309 一、维基百科 维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的，于2001年1月13日在互联网上推出网站服务，并在2001年1月15日正式展开网络百科全书的项目。 二、维基百科处理 1 环...
2023年04月26日 汪洋大海 暂无评论 喜欢 0 阅读 1,929 views 次 阅读全文

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包
CentOS7.9 Nvidia驱动安装前准备工作 Nvidia驱动安装环境依赖 在安装nvidia驱动之前，需要做比较多的工作，而且还有很多注意事项。首先必须安装gcc依赖。 yum install gcc -y yum -y install dkms 这里也要注意，安装完后一定一定要看一下gcc的版本，如果是gcc version 4.8.5 20150623 (Red Hat 4.8.5-44)那就太老旧了。 这里建议安装gcc version 8.5.0 20210514 (Red Ha...
2023年04月24日 学习笔记 暂无评论 喜欢 0 阅读 2,392 views 次 阅读全文

CentOS 7 升级gcc 到指定版本

CentOS 7 升级gcc 到指定版本
Centos 7默认gcc版本为4.8，有时需要更高版本的，这里以升级至9.3.1版本为例，分别执行下面三条命令即可，无需手动下载源码编译 1、安装 centos -release-scl sudo yum install centos-release-scl 列出一下GCC版本 yum list |grep devtoolset |grep gcc.x86_64 2、安装devtoolset，注意，如果想安装8. 版本的，就改成devtoolset-8-gcc ，以此类推 sudo yum install dev...
2023年04月24日 汪洋大海 暂无评论 喜欢 0 阅读 1,265 views 次 阅读全文

Uvicorn 无法启动 FastAPI APP 提示 WARNING

Uvicorn 无法启动 FastAPI APP 提示 WARNING
今天在启动fastapi的时候，发现系统报错，然后各种找原因，发现问题出现在热加载的那个地方。 我的代码如下： import uvicorn from fastapi import FastAPI app = FastAPI(title='MADS API') uvicorn.run(app, host='0.0.0.0', port=8127, reload=True, workers=2) ##结果系统报错如下： ##WARNING: You must pass the application as an import string to enable '...
2023年04月24日 学习笔记 暂无评论 喜欢 0 阅读 2,221 views 次 阅读全文

密码保护：LLaMA 转化HF 及 融合各lora权重方法

密码保护：LLaMA 转化HF 及 融合各lora权重方法
最近一直在研究模型，，，终于发现一个有意思的东东！！！ 几乎所有使用facebooke的模型都是这个套路。 下载原版LLaMA 7B，转换为HF格式。得到① 务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并操作。原版LLaMA包含：tokenizer.model、tokenizer_checklist.chk、consolidated.*.pth、params.json 主要依赖库如下（如果出问题就请...
2023年04月22日 学习笔记 要查看留言请输入您的密码。 喜欢 0 阅读 1,339 views 次 阅读全文

快速部署MiniGPT-4强大的模型

快速部署MiniGPT-4强大的模型
MiniGPT-4：使用高级大型语言模型增强视觉语言理解 这个应该不用详细介绍了，如果想了解的可以自行搜索“MiniGPT-4”相关资料。或者直接去https://github.com/Vision-CAIR/MiniGPT-4 了解它的强大，不过它也只是基于Vicuna-7B加入了视觉的识别。下面就讲一下它如何进行部署，其实非常非常简单。 在使用前，请一定须知，， Vicuna 13B模型需要 大约 23G GPU 内存。 Vicuna 7B模...
2023年04月21日 汪洋大海 暂无评论 喜欢 0 阅读 1,688 views 次 阅读全文

怎么使用LoRA？ 训练你自己的ChatGPT

怎么使用LoRA？ 训练你自己的ChatGPT
以ChatGPT、GPT-4等为代表的大语言模型展现出了类通用人工智能的能力，受到业界广泛关注。但GPT-3有1750亿参数，为了让它能加入特定领域的知识并work，需要做微调，但是直接对GPT-3做微调，成本高且复杂。 一、什么是LoRA？ LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研...
2023年04月20日 汪洋大海 暂无评论 喜欢 0 阅读 1,652 views 次 阅读全文

Chinese-LLaMA-Alpaca 扩充词表python代码及说明

Chinese-LLaMA-Alpaca 扩充词表python代码及说明
准备工作：词表扩充 由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。 在通用中文语料上训练了基于sentencepiece的20K中文词表并与原版LLaMA模型的32K词表进行合并 排除重复的token后，得到的最终中文LLaMA词表大小为49953 需要注意的是，在fine-tune阶段Alpaca比LLaMA多一个pad token，所以中文Alpaca的词表大小为49954 更多关于中...
2023年04月20日 学习笔记 暂无评论 喜欢 0 阅读 1,776 views 次 阅读全文

砥砺前行，勇攀高峰；自力更生，创辉煌人生。

砥砺前行，勇攀高峰；自力更生，创辉煌人生。
  余怀三万金，自黑龙江出，乘着迷茫之风，路经齐鲁、扈渎之地，直至金陵。经历了七载的辛劳，终能凭己之力置业。虽得所愿，然心中却深感凄凉，忆往昔的艰辛历程，便难掩心中的无奈和失落。幸而，余知人生路途漫漫，必须持之以恒、不断超越自我。在此刻，余虽凭自力置业，但心中的悲伤却愈加深刻，或许人生之路，注定充满坎坷与挫折，但余唯有继续以平凡之姿坚定信念...
2023年04月12日 个人日记 暂无评论 喜欢 0 阅读 1,741 views 次 阅读全文