A-A+

python 多线程操作Sqlite3 错误:Recursive use of cursors not allowed 的解决方案

2019年12月10日 18:19 汪洋大海 暂无评论 阅读 279 views 次

【感悟】

写完这篇日志后,有调了一段时间程序,又有了一点心得分享下:

一)爬稳定的数(dong)据(xi)最好存储下来,特别是数据库在国外的那种,下载时间成本太高昂了,存起来再处理,会节约很多时间;

二)对于python使用多线程写数据到sqlite数据库的做法绝对是浪费感情,是扯淡的行为,一个词叫“大材小用”,单线程足够了。

三)写数据到数据库中commit的次数最好减少,可以10000条insert后commit,当然这取决于事务本身和其他因素,我这里可以提升一倍的速度。

四)回到爬的数据上,文本形式存储对于散户使用是最优的,处理速度快,格式定义好,正则等功能完胜sqlite。

------------------------------------------------------------------------------------------------分割线-----------------------------------------------------------------------------------------------------------------------

【问题情境】

最近手闲,想写一个简单的批量下载网页的python工具。当然爬虫的轻量级框架scrapy以前用过,还不错。因为这次需求很简单,就直接人肉搞了。结果各种问题就出来了。

其中的思路是,多线程数据库存储这些网页,也方便之后数据处理。但是跑多线程时,脚本经常死掉。开了50个线程,基本出现的错误提示就是"Recursive use of cursors not allowed".

【问题分析】

数据库跑多线程的故事吧,一般都是事务没提交无法保证原子性的问题。问题解决方案可直接看下面的【问题解决】部分。

检查了第一遍:

问题1:

发现有个查询语句select没有提交,commit了一下。

分析1:

这里感觉没有什么问题,因为查询没有改变数据库所以不提交也一样。

跑一遍:

似乎错误提示少了一些。此时,我insert数据的sleep时间是1sec.试了几遍,还是中途崩掉。

检查第二遍:

问题2:

缩短insert的sleep时间,问题更严重了。很快姐崩了。

分析2:

应该是insert频繁导致的sql语句冲突概率增加。总感觉这里有问题,就差了下资料,果然是sqlite3多线程的时候有猫腻。于是,在每个提交的位置都增加了线程锁,增强同步效果。

跑了一遍:

错误提示"Recursive use of cursors not allowed"没有再出现。

【解决方案】

加锁,提交。

lock = threading.Lock()

def Func(host,cursor,db):
try:
lock.acquire(True)
res = cursor.execute('''...''',(host,))
# do something
finally:
lock.release()

【其他】

python的sqlite3使用多线程的参数check_same_thread是需要的:

self.conn = sqlite3.connect(dbname, check_same_thread=False)

文字来源:https://blog.csdn.net/counsellor/article/details/43715007

布施恩德可便相知重

微信扫一扫打赏

支付宝扫一扫打赏

×

给我留言