使用 FAISS 计算字符串之间的相似度

使用 FAISS 计算字符串之间的相似度
代码如下:   import faiss import numpy as np from transformers import AutoTokenizer, AutoModel # 加载text2vec-large-chinese模型和分词器 model_name = "bert-base-chinese" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) # 假设您有两个字符串s1和s2 s1 = "北京是中国的...

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包

centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包
CentOS7.9 Nvidia驱动安装前准备工作 Nvidia驱动安装环境依赖 在安装nvidia驱动之前,需要做比较多的工作,而且还有很多注意事项。首先必须安装gcc依赖。 yum install gcc -y yum -y install dkms 这里也要注意,安装完后一定一定要看一下gcc的版本,如果是gcc version 4.8.5 20150623 (Red Hat 4.8.5-44)那就太老旧了。 这里建议安装gcc version 8.5.0 20210514 (Red Ha...

Uvicorn 无法启动 FastAPI APP 提示 WARNING

Uvicorn 无法启动 FastAPI APP 提示 WARNING
今天在启动fastapi的时候,发现系统报错,然后各种找原因,发现问题出现在热加载的那个地方。 我的代码如下: import uvicorn from fastapi import FastAPI app = FastAPI(title='MADS API') uvicorn.run(app, host='0.0.0.0', port=8127, reload=True, workers=2) ##结果系统报错如下: ##WARNING: You must pass the application as an import string to enable '...

密码保护:LLaMA 转化HF 及 融合各lora权重方法

密码保护:LLaMA 转化HF 及 融合各lora权重方法
最近一直在研究模型,,,终于发现一个有意思的东东!!! 几乎所有使用facebooke的模型都是这个套路。 下载原版LLaMA 7B,转换为HF格式。得到① 务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.model、tokenizer_checklist.chk、consolidated.*.pth、params.json 主要依赖库如下(如果出问题就请...

Chinese-LLaMA-Alpaca 扩充词表python代码及说明

Chinese-LLaMA-Alpaca 扩充词表python代码及说明
准备工作:词表扩充 由于原版LLaMA对中文的支持非常有限,本项目在原版LLaMA的基础上进一步扩充了中文词表。 在通用中文语料上训练了基于sentencepiece的20K中文词表并与原版LLaMA模型的32K词表进行合并 排除重复的token后,得到的最终中文LLaMA词表大小为49953 需要注意的是,在fine-tune阶段Alpaca比LLaMA多一个pad token,所以中文Alpaca的词表大小为49954 更多关于中...

咖啡、茶、酒喝哪个对身体更好

咖啡、茶、酒喝哪个对身体更好
对于咖啡、茶和酒,哪一个对身体更好取决于许多因素,包括个人的健康状况、年龄、性别、体重和生活方式等。以下是一些一般性的建议: 咖啡和茶都含有咖啡因和茶碱等刺激性物质,适量饮用可以提高警觉性和注意力,但过量饮用可能会导致失眠、依赖和其他副作用。如果你有睡眠问题或者心血管疾病等健康问题,可能需要控制咖啡和茶的摄入量或避免饮用。 适量饮用红酒可以降低心...

咖啡、茶、酒各对身体都有什么好处

咖啡、茶、酒各对身体都有什么好处
咖啡、茶和酒在适量饮用的情况下都可以对身体有益。以下是它们可能带来的好处: 咖啡: 改善认知能力和精神状态,提高警觉性和注意力 降低患阿尔茨海默病和帕金森氏症的风险 减少患2型糖尿病、肝癌、结肠癌和其他癌症的风险 缓解哮喘和头痛症状 茶: 改善心理健康,缓解压力和焦虑 降低患心脏病、中风和高血压的风险 缓解炎症和免疫系统紊乱 保护牙齿和减少口臭 ...

选择与命运:掌握自己的人生之舵

选择与命运:掌握自己的人生之舵
生命是一场漫长的旅程,而在这个旅程中,我们会不断地做出选择,而这些选择会对我们的命运带来巨大的影响。不同的选择造就不同的命运,每个人的命运也因此而不同。这种多样性是我们人类最珍贵的财富之一。 我们每个人都拥有不同的背景、家庭、教育和人生经历,这些因素决定了我们的思想、行为和价值观,也就是我们的命运。有些人生于富裕的家庭,受到优质教育和良好的熏陶...