今天有一个需求，就是办公网的电脑要映射一些端口到互联网。比较巧合的是，公司内有一个小机房，部分端口已经被占用。测试环境与公司的办公环境是打通的。因为测试环境IP段和公有云也是打通的。这样就可以在公有云中购买一台服务器，然后购买一个面向互联网的IP，然后做流量转发即可。
首先在测试环境开通一台面向互联网开放指定端口的公有云服务器。然后在此服务器做如下配...
公司内部办公网IP端口映射到互联网
蒙提霍尔问题 （Monty Hall problem）python计算概率
现在有3个箱子，只有一个箱子有宝物，让你来进行选择。你选择了其中一个箱子，这种情况下剩下的两个箱子中必定有一个是空箱子，此时打开这个空箱子，请问你是坚持你持有的箱子，还是更换选择，选择另一个没打开的箱子，哪个箱子有宝物的几率更大呢？
根据著名的“蒙提霍尔问题”（Monty Hall problem），更换选择的箱子会有较高的获胜概率。
假设您一开始选择的箱子为A...
python多线程连接websocket的测试脚本
以下是一个使用Python的websocket库编写的多线程连接WebSocket的测试脚本，每个线程的WebSocket请求提交的内容都不同，并且请求回复的内容都会打印出来，同时也会打印出对应线程的ID。当超过5秒没有提交内容时，就会关闭这个WebSocket连接：
import websocket
import threading
def on_message(ws, message):
print(f"Thread-{threading.get_ident()} receive...
在lora训练中learning_rate是什么意思，为什么会有些人1e-5还有人写2e-2
`learning_rate`（学习率）是训练神经网络模型时的一个重要超参数。它涉及到模型在梯度下降算法中的权重更新速度。在训练过程中，我们想要最小化损失函数以获得更好的模型性能。为了实现这一目标，我们需要沿着损失函数的梯度负方向更新模型的权重。学习率决定了这个更新的步长。
学习率的选择对模型的收敛速度和性能有很大影响。一个较大的学习率可能导致权重更新过快，从...
使用 FAISS 计算字符串之间的相似度
代码如下：
import faiss
import numpy as np
from transformers import AutoTokenizer, AutoModel
# 加载text2vec-large-chinese模型和分词器
model_name = "bert-base-chinese"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
# 假设您有两个字符串s1和s2
s1 = "北京是中国的...
centos7.9 安装nvidia驱动 及 CUDA Toolkit 开发工具包
CentOS7.9 Nvidia驱动安装前准备工作
Nvidia驱动安装环境依赖
在安装nvidia驱动之前，需要做比较多的工作，而且还有很多注意事项。首先必须安装gcc依赖。
yum install gcc -y
yum -y install dkms
这里也要注意，安装完后一定一定要看一下gcc的版本，如果是gcc version 4.8.5 20150623 (Red Hat 4.8.5-44)那就太老旧了。
这里建议安装gcc version 8.5.0 20210514 (Red Ha...
Uvicorn 无法启动 FastAPI APP 提示 WARNING
今天在启动fastapi的时候，发现系统报错，然后各种找原因，发现问题出现在热加载的那个地方。
我的代码如下：
import uvicorn
from fastapi import FastAPI
app = FastAPI(title='MADS API')
uvicorn.run(app, host='0.0.0.0', port=8127, reload=True, workers=2)
##结果系统报错如下：
##WARNING: You must pass the application as an import string to enable '...
密码保护：LLaMA 转化HF 及 融合各lora权重方法
最近一直在研究模型，，，终于发现一个有意思的东东！！！
几乎所有使用facebooke的模型都是这个套路。
下载原版LLaMA 7B，转换为HF格式。得到①
务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并操作。原版LLaMA包含：tokenizer.model、tokenizer_checklist.chk、consolidated.*.pth、params.json
主要依赖库如下（如果出问题就请...
Chinese-LLaMA-Alpaca 扩充词表python代码及说明
准备工作：词表扩充
由于原版LLaMA对中文的支持非常有限，本项目在原版LLaMA的基础上进一步扩充了中文词表。
在通用中文语料上训练了基于sentencepiece的20K中文词表并与原版LLaMA模型的32K词表进行合并
排除重复的token后，得到的最终中文LLaMA词表大小为49953
需要注意的是，在fine-tune阶段Alpaca比LLaMA多一个pad token，所以中文Alpaca的词表大小为49954
更多关于中...
使用transformers 搭建自己的本地翻译 AutoTokenizer opus-mt-zh-en
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
from transformers import (AutoModelForSeq2SeqLM, AutoTokenizer, pipeline)
import time
import os
class BackTranslate:
def __init__(self, pretrained_dir):
# 加载zh-to-en模型
tokenizer = AutoTokenize...