蜗居

可以通过两种方法查看 一、在系统内部直接执行lspci -nn | grep NV [root@icompute07 ~]# lspci -nn | grep NV af:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1) 二、通过官方网站，如下： **通过lspci查看不到具体型号时，如下：** [root@control02 ~]# lspci -nn | grep NV af:00.0 3D controller [0302]: NVIDIA Corporat...

因会议早已结束，下面是会议视频录像连接： https://mirrors.tuna.tsinghua.edu.cn/tuna/tunight/2023-05-14-llm-chatbot/video.mp4   庄思源目前正于加州大学伯克利分校攻读博士学位，近期参与了 FastChat/Vicuna 的研究与开发。Vicuna 是截至目前性能最接近 ChatGPT 的开源聊天机器人之一。作为 ray-project/ray 的核心贡献者之一，庄思源对分布式框架 Ray 有深入的...

英伟达GPU算力一览 目前更新至30系显卡 官方说明在GPU算力高于5.0时，此计算机可以用来跑神经网络，而在CSDN和网页上查找GPU算力时，没有一个比较全面的博客对目前的显卡算力做统计，而且英伟达官网链接打开真的谜一样，很慢或者直接打不开，所以用这篇博客记录一下截至到2022.8.8 ，一部分主流供深度学习的GPU的算力。 NVIDIA官方查找GPU算力的网址：https://developer.nvi...

在跑GPU的时候，出现错误： ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory 原因： 默认软链的cudnn中没有相应的 libcudnn.so文件。 一探究竟： （1）执行命令ll /usr/local,查看该路径下的cuda：，显示有2个版本，cuda-10.0和cuda-9.0,并且cuda软链到了10.0的版本。 （2）那么来查看cuda-10.0的路径下是否有libcudnn.so文件呢，...

hatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做 Fine-tuning 就非常有价值了。 声明： 本文提供的所有技术信息，都基于 THUDM/chatglm-6b ...

在 Windows 上安装 Detectron2 并不是一件容易的事，因为正式版的 Detectron2 在这个平台上是官方不支持的，而且 Windows Subsystem for Linux 也无法访问机器的 GPU。按照接下来的步骤，您可以快速安装和使用最新版本的Detectron2，完美运行。 第 1 步：创建 conda 环境 此步骤不是必需的。您可以使用下面描述的两个命令行创建一个空环境来测试 detectron2：https://docs.c...

严格意义上讲 transformers 并不是 PyTorch 的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。 transformers 内置了 17 种以 transformer 结构为基础的神经网络： T5 model DistilBERT model ALBERT model CamemBERT model XLM-RoBERTa model Longformer...

新版本在windows环境下配置环境，运行报错：缺少“pexpect”模块。 安装模块后，运行报错：module 'pexpect' has no attribute 'spawn' 查阅发现好像win下不支持pexpect.spawn。 请问有没有办法处理这个问题呢？     解决了，安装了win环境适用的模块wexpect，并把bash.py里的'pexpect'改为'wexpect' 资料来源于微信群！

一、LoRA的原理 ​ LoRA是一种以极低资源微调大模型的方法，其来自于论文LoRA: Low-Rank Adaptation of Large Language Models。 1. 大模型微调的困境 ​ 随着模型规模的不断扩大，模型会"涌现"出各种能力。特别是对大语言模型(LLM)来说，随着规模的扩大其在zero-shot、常识推理等能力上会有大幅度的提高。相比于规模较小的模型，大模型的微调成本和部署成本都非常高。例如，G...

1 Wikipedia构建 参考教程参考：https://blog.51cto.com/u_15127535/2697309 一、维基百科 维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的，于2001年1月13日在互联网上推出网站服务，并在2001年1月15日正式展开网络百科全书的项目。 二、维基百科处理 1 环...