一、需求分析
有一批key已经写入到3个txt文件中,每一个txt文件有30万行记录。
现在需要读取这些txt文件,判断key是否在数据仓库中。(redis或者mysql)
为空的记录,需要写入到日志文件中!
任务分工
1. 使用多线程技术,每一个线程读取一个txt文件
2. 使用协程技术,批量读取txt文件记录。比如一次性读取 2000条记录
注意:打开文件操作,最好在一个进程中,重复打开文件,会造成系统资源浪费!
二、完整代码
执行输出:
一、需求分析
有一批key已经写入到3个txt文件中,每一个txt文件有30万行记录。
现在需要读取这些txt文件,判断key是否在数据仓库中。(redis或者mysql)
为空的记录,需要写入到日志文件中!
任务分工
1. 使用多线程技术,每一个线程读取一个txt文件
2. 使用协程技术,批量读取txt文件记录。比如一次性读取 2000条记录
注意:打开文件操作,最好在一个进程中,重复打开文件,会造成系统资源浪费!
二、完整代码
执行输出:
本文标题:python 多线程和协程配合使用
本文链接:https://www.haomeiwen.com/subject/oyqftctx.html
网友评论