蜗居

严格意义上讲 transformers 并不是 PyTorch 的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。 transformers 内置了 17 种以 transformer 结构为基础的神经网络： T5 model DistilBERT model ALBERT model CamemBERT model XLM-RoBERTa model Longformer...

新版本在windows环境下配置环境，运行报错：缺少“pexpect”模块。 安装模块后，运行报错：module 'pexpect' has no attribute 'spawn' 查阅发现好像win下不支持pexpect.spawn。 请问有没有办法处理这个问题呢？     解决了，安装了win环境适用的模块wexpect，并把bash.py里的'pexpect'改为'wexpect' 资料来源于微信群！

一、LoRA的原理 ​ LoRA是一种以极低资源微调大模型的方法，其来自于论文LoRA: Low-Rank Adaptation of Large Language Models。 1. 大模型微调的困境 ​ 随着模型规模的不断扩大，模型会"涌现"出各种能力。特别是对大语言模型(LLM)来说，随着规模的扩大其在zero-shot、常识推理等能力上会有大幅度的提高。相比于规模较小的模型，大模型的微调成本和部署成本都非常高。例如，G...

1 Wikipedia构建 参考教程参考：https://blog.51cto.com/u_15127535/2697309 一、维基百科 维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的，于2001年1月13日在互联网上推出网站服务，并在2001年1月15日正式展开网络百科全书的项目。 二、维基百科处理 1 环...

Centos 7默认gcc版本为4.8，有时需要更高版本的，这里以升级至9.3.1版本为例，分别执行下面三条命令即可，无需手动下载源码编译 1、安装 centos -release-scl sudo yum install centos-release-scl 列出一下GCC版本 yum list |grep devtoolset |grep gcc.x86_64 2、安装devtoolset，注意，如果想安装8. 版本的，就改成devtoolset-8-gcc ，以此类推 sudo yum install dev...

MiniGPT-4：使用高级大型语言模型增强视觉语言理解 这个应该不用详细介绍了，如果想了解的可以自行搜索“MiniGPT-4”相关资料。或者直接去https://github.com/Vision-CAIR/MiniGPT-4 了解它的强大，不过它也只是基于Vicuna-7B加入了视觉的识别。下面就讲一下它如何进行部署，其实非常非常简单。 在使用前，请一定须知，， Vicuna 13B模型需要 大约 23G GPU 内存。 Vicuna 7B模...

以ChatGPT、GPT-4等为代表的大语言模型展现出了类通用人工智能的能力，受到业界广泛关注。但GPT-3有1750亿参数，为了让它能加入特定领域的知识并work，需要做微调，但是直接对GPT-3做微调，成本高且复杂。 一、什么是LoRA？ LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研...

这篇简要说下清华开源项目 ChatGLM 本地部署的详细教程。清华开源项目 ChatGLM-6B 已发布开源版本，这一项目可以直接部署在本地计算机上做测试，无需联网即可体验与 AI 聊天的乐趣。 项目地址：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Language Model 官网介绍： ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型...

前言 想体验复古传奇的热血 PK 吗？想体验满级 VIP 的尊贵吗？想体验一刀 99999 的爽快吗？各种极品炫酷时装、坐骑、翅膀、宠物通通给你，就在复古冰雪传奇 H5！ 本文讲解冰雪传奇架设教程，想研究 H5 游戏如何实现，体验游戏中秒天秒地秒空气的一定不要错过。 冰雪传奇游戏截图： 移动端： PC 端： 架设 1. 架设条件 冰雪传奇架设需要准备： linux 服务器，推荐 CentOs...

举个栗子，多用户可以直接添加forward_proxy，像这样： { debug http_port 80 https_port 443 order forward_proxy before file_server } :443, demo.test.tk { tls [email protected] route { # proxy forward_proxy { basic_auth zhangsan 1qaz@wsx hide_ip hide_via probe_resistance } forward_proxy { basic_auth lisi 12...