什么是向量化

什么是向量化
向量化是一种将非数值类型的数据(如文本、图像、声音等)转换为数值类型的数据(向量)的过程。它是将数据表示为向量的一种方式,使得数据可以更方便地进行处理和分析。 在机器学习和自然语言处理中,向量化通常用于将文本数据转换为向量,以便使用机器学习算法进行处理。例如,在将文本数据用于分类或聚类之前,需要将每个文本转换为向量形式。 在文本向量化中,常见的方...

通过Prompt可以解决语言模型的哪些问题

通过Prompt可以解决语言模型的哪些问题
Prompt可以用来解决语言模型的多个问题,包括但不限于以下几个方面: 1. 提高生成内容的质量:通过编写明确的Prompt,可以指导语言模型生成特定类型的内容,从而提高生成内容的质量。例如,可以编写Prompt来教导模型如何生成具有一定逻辑性的长篇文章,或者如何避免使用重复短语或句子结构。 2. 针对时效性内容生成:Prompt可以被用来生成针对时效性内容的文本。例如,可以...

什么是Prompt

什么是Prompt
Prompt是一种指导语言模型(如GPT-3)生成特定输出的技术。它是一种输入格式,向模型提供了关于期望输出的提示或指令,以帮助模型生成更加准确和有针对性的输出。Prompt可以是一个完整的句子、段落或文本,也可以是一个单词或短语。 通过编写明确的Prompt,可以让模型更好地理解生成内容的背景和目的,并更准确地生成所需的输出。例如,一个指导模型生成关于某个具体主题的...

什么是向量化数据库

什么是向量化数据库
向量化数据库是一种基于向量空间模型的数据库,它将文本数据转换为向量形式,并利用向量化的方式进行存储和查询。在向量化数据库中,每个文本被表示为一个向量,其中每个维度代表一个特征,例如单词、短语或文档的元数据。 向量化数据库在AI技术中具有重要的影响和应用,包括: 1. 加速文本搜索:向量化数据库可以快速搜索和匹配相似的文本,尤其是在大规模文本数据集下。通...

centos7 无驱动情况下显卡型号查询

centos7 无驱动情况下显卡型号查询
可以通过两种方法查看 一、在系统内部直接执行lspci -nn | grep NV [root@icompute07 ~]# lspci -nn | grep NV af:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1) 二、通过官方网站,如下: **通过lspci查看不到具体型号时,如下:** [root@control02 ~]# lspci -nn | grep NV af:00.0 3D controller [0302]: NVIDIA Corporat...

基于大型语言模型(LLM)的聊天机器人 解读

基于大型语言模型(LLM)的聊天机器人 解读
因会议早已结束,下面是会议视频录像连接: https://mirrors.tuna.tsinghua.edu.cn/tuna/tunight/2023-05-14-llm-chatbot/video.mp4   庄思源目前正于加州大学伯克利分校攻读博士学位,近期参与了 FastChat/Vicuna 的研究与开发。Vicuna 是截至目前性能最接近 ChatGPT 的开源聊天机器人之一。作为 ray-project/ray 的核心贡献者之一,庄思源对分布式框架 Ray 有深入的...

AI训练需要算力在7.5之上 NVIDIA英伟达GPU显卡算力一览

AI训练需要算力在7.5之上  NVIDIA英伟达GPU显卡算力一览
英伟达GPU算力一览 目前更新至30系显卡 官方说明在GPU算力高于5.0时,此计算机可以用来跑神经网络,而在CSDN和网页上查找GPU算力时,没有一个比较全面的博客对目前的显卡算力做统计,而且英伟达官网链接打开真的谜一样,很慢或者直接打不开,所以用这篇博客记录一下截至到2022.8.8 ,一部分主流供深度学习的GPU的算力。 NVIDIA官方查找GPU算力的网址:https://developer.nvi...

ImportError: libcudnn.so.x : cannot open shared object file: No such file or directory解决

ImportError: libcudnn.so.x : cannot open shared object file: No such file or directory解决
在跑GPU的时候,出现错误: ImportError: libcudnn.so.7: cannot open shared object file: No such file or directory 原因: 默认软链的cudnn中没有相应的 libcudnn.so文件。 一探究竟: (1)执行命令ll /usr/local,查看该路径下的cuda:,显示有2个版本,cuda-10.0和cuda-9.0,并且cuda软链到了10.0的版本。 (2)那么来查看cuda-10.0的路径下是否有libcudnn.so文件呢,...

对 ChatGLM-6B 做 LoRA fine tuning

对 ChatGLM-6B 做 LoRA fine tuning
hatGLM-6B 是一个支持中英双语的对话语言模型,基于 GLM (General Language Model)。它只有 62 亿个参数,量化后最低 (INT4 量化) 只需要 6GB 的显存,完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后,我们发现模型的对话表现能力确实非常不错。那么,基于这个模型做 Fine-tuning 就非常有价值了。 声明: 本文提供的所有技术信息,都基于 THUDM/chatglm-6b ...

如何在 Windows 10 上轻松安装 Detectron2

如何在 Windows 10 上轻松安装 Detectron2
在 Windows 上安装 Detectron2 并不是一件容易的事,因为正式版的 Detectron2 在这个平台上是官方不支持的,而且 Windows Subsystem for Linux 也无法访问机器的 GPU。按照接下来的步骤,您可以快速安装和使用最新版本的Detectron2,完美运行。 第 1 步:创建 conda 环境 此步骤不是必需的。您可以使用下面描述的两个命令行创建一个空环境来测试 detectron2:https://docs.c...