[NLP] transformers 使用指南 Tokenizer

[NLP] transformers 使用指南 Tokenizer
严格意义上讲 transformers 并不是 PyTorch 的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。 transformers 内置了 17 种以 transformer 结构为基础的神经网络： T5 model DistilBERT model ALBERT model CamemBERT model XLM-RoBERTa model Longformer...
2023年04月28日 汪洋大海 暂无评论 喜欢 0 阅读 1,515 views 次 阅读全文

windows环境 module ‘pexpect’ has no attribute ‘spawn’

windows环境 module ‘pexpect’ has no attribute ‘spawn’
新版本在windows环境下配置环境，运行报错：缺少“pexpect”模块。 安装模块后，运行报错：module 'pexpect' has no attribute 'spawn' 查阅发现好像win下不支持pexpect.spawn。 请问有没有办法处理这个问题呢？     解决了，安装了win环境适用的模块wexpect，并把bash.py里的'pexpect'改为'wexpect' 资料来源于微信群！
2023年04月28日 汪洋大海 暂无评论 喜欢 0 阅读 1,806 views 次 阅读全文

极低资源微调大模型方法LoRA以及BLOOM-LORA实现代码

极低资源微调大模型方法LoRA以及BLOOM-LORA实现代码
一、LoRA的原理 ​ LoRA是一种以极低资源微调大模型的方法，其来自于论文LoRA: Low-Rank Adaptation of Large Language Models。 1. 大模型微调的困境 ​ 随着模型规模的不断扩大，模型会"涌现"出各种能力。特别是对大语言模型(LLM)来说，随着规模的扩大其在zero-shot、常识推理等能力上会有大幅度的提高。相比于规模较小的模型，大模型的微调成本和部署成本都非常高。例如，G...
2023年04月27日 汪洋大海 暂无评论 喜欢 0 阅读 2,160 views 次 阅读全文

zhwiki 中文维基百科数据获取与清洗处理

zhwiki 中文维基百科数据获取与清洗处理
1 Wikipedia构建 参考教程参考：https://blog.51cto.com/u_15127535/2697309 一、维基百科 维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的，于2001年1月13日在互联网上推出网站服务，并在2001年1月15日正式展开网络百科全书的项目。 二、维基百科处理 1 环...
2023年04月26日 汪洋大海 暂无评论 喜欢 0 阅读 1,990 views 次 阅读全文

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包
CentOS7.9 Nvidia驱动安装前准备工作 Nvidia驱动安装环境依赖 在安装nvidia驱动之前，需要做比较多的工作，而且还有很多注意事项。首先必须安装gcc依赖。 yum install gcc -y yum -y install dkms 这里也要注意，安装完后一定一定要看一下gcc的版本，如果是gcc version 4.8.5 20150623 (Red Hat 4.8.5-44)那就太老旧了。 这里建议安装gcc version 8.5.0 20210514 (Red Ha...
2023年04月24日 学习笔记 暂无评论 喜欢 0 阅读 2,460 views 次 阅读全文

CentOS 7 升级gcc 到指定版本

CentOS 7 升级gcc 到指定版本
Centos 7默认gcc版本为4.8，有时需要更高版本的，这里以升级至9.3.1版本为例，分别执行下面三条命令即可，无需手动下载源码编译 1、安装 centos -release-scl sudo yum install centos-release-scl 列出一下GCC版本 yum list |grep devtoolset |grep gcc.x86_64 2、安装devtoolset，注意，如果想安装8. 版本的，就改成devtoolset-8-gcc ，以此类推 sudo yum install dev...
2023年04月24日 汪洋大海 暂无评论 喜欢 0 阅读 1,324 views 次 阅读全文

Uvicorn 无法启动 FastAPI APP 提示 WARNING

Uvicorn 无法启动 FastAPI APP 提示 WARNING
今天在启动fastapi的时候，发现系统报错，然后各种找原因，发现问题出现在热加载的那个地方。 我的代码如下： import uvicorn from fastapi import FastAPI app = FastAPI(title='MADS API') uvicorn.run(app, host='0.0.0.0', port=8127, reload=True, workers=2) ##结果系统报错如下： ##WARNING: You must pass the application as an import string to enable '...
2023年04月24日 学习笔记 暂无评论 喜欢 0 阅读 2,316 views 次 阅读全文

密码保护：LLaMA 转化HF 及 融合各lora权重方法

密码保护：LLaMA 转化HF 及 融合各lora权重方法
最近一直在研究模型，，，终于发现一个有意思的东东！！！ 几乎所有使用facebooke的模型都是这个套路。 下载原版LLaMA 7B，转换为HF格式。得到① 务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并操作。原版LLaMA包含：tokenizer.model、tokenizer_checklist.chk、consolidated.*.pth、params.json 主要依赖库如下（如果出问题就请...
2023年04月22日 学习笔记 要查看留言请输入您的密码。 喜欢 0 阅读 1,391 views 次 阅读全文

快速部署MiniGPT-4强大的模型

快速部署MiniGPT-4强大的模型
MiniGPT-4：使用高级大型语言模型增强视觉语言理解 这个应该不用详细介绍了，如果想了解的可以自行搜索“MiniGPT-4”相关资料。或者直接去https://github.com/Vision-CAIR/MiniGPT-4 了解它的强大，不过它也只是基于Vicuna-7B加入了视觉的识别。下面就讲一下它如何进行部署，其实非常非常简单。 在使用前，请一定须知，， Vicuna 13B模型需要 大约 23G GPU 内存。 Vicuna 7B模...
2023年04月21日 汪洋大海 暂无评论 喜欢 0 阅读 1,731 views 次 阅读全文

怎么使用LoRA？ 训练你自己的ChatGPT

怎么使用LoRA？ 训练你自己的ChatGPT
以ChatGPT、GPT-4等为代表的大语言模型展现出了类通用人工智能的能力，受到业界广泛关注。但GPT-3有1750亿参数，为了让它能加入特定领域的知识并work，需要做微调，但是直接对GPT-3做微调，成本高且复杂。 一、什么是LoRA？ LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研...
2023年04月20日 汪洋大海 暂无评论 喜欢 0 阅读 1,717 views 次 阅读全文