美文网首页
2022-12-06 | 关于多进程python的异步非阻塞实现

2022-12-06 | 关于多进程python的异步非阻塞实现

作者: 汪大山 | 来源:发表于2022-12-05 16:16 被阅读0次

主函数是自己要实现功能,下面是演示如何将我们的输入文件分批输入进去,进行多进程的python功能

主要用了异步非阻塞的方法,读者也可以尝试用pool.map来进行对比,来看下由什么不同的地方

```python

if __name__ =='__main__':

lines = fo.readlines()

line_list = []

for linein lines:

line_list.append(line)

count =len(line_list)# 文件行数

    chunktimes =5  #切分次数

    n =int(count/chunktimes)#步长

    # 切分diff

    match_split = [line_list[i:i+n]for iin range(0,len(line_list),n)]# 每个文件的数据行数

    pool = multiprocessing.Pool(6)

# 将切分的写入多个txt中

    #for i in range(0,int(count/n+1)): # 计算写入文件数

    for filein [match_split[i]for iin range(0,int(count/n+1))]:

pool.apply_async(主函数,args=(file,))

print(f"master{os.getpid()}")

pool.close()

pool.join()

```

相关文章

  • 进程 线程 协程 同步 异步 阻塞 非阻塞

    参考文章: Python 中的进程、线程、协程、同步、异步、回调 简明网络I/O模型---同步异步阻塞非阻塞之惑...

  • Java IO快速入门

    网络IO实现方式分为BIO(阻塞IO)、线程池伪异步IO、NIO(非阻塞IO)、AIO(异步非阻塞IO); 异步、...

  • I/O模型

    一般来说I/O模型可以分为:同步阻塞,同步非阻塞,异步阻塞,异步非阻塞IO 同步阻塞IO:在此种方式下,用户进程在...

  • 同步和异步、阻塞和非阻塞的区别

    最近研究Nginx的时候知道了Nginx工作进程是异步非阻塞的方式,就对同步和异步、阻塞和非阻塞的区别产生了困惑,...

  • BIO NIO AIO

    IO的方式通常分为几种,同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO。 阻塞和非阻塞:是针对于进程在访...

  • Java IO

    Before IO 分为:同步、异步阻塞、非阻塞 同步和异步是目的,阻塞和非阻塞是实现方式。 一个IO操作其实分成...

  • 56 - 观察者模式

    根据应用场景的不同,观察者模式会对应不同的代码实现方式:有同步阻塞的实现方式,也有异步非阻塞的实现方式;有进程内的...

  • JAVA中IO技术:BIO、NIO、AIO

    1、同步异步、阻塞非阻塞概念 同步和异步是针对应用程序和内核的交互而言的。 阻塞和非阻塞是针对于进程在访问数据的时...

  • I/O模型与多路复用

    同步、异步、阻塞、非阻塞 同步 & 异步 同步与异步是针对多个事件(线程/进程)来说的。 如果事件A需要等待事件B...

  • 谈论:同步异步阻塞非阻塞.md

    同步/异步:关注的方式(是否主动) 阻塞/非阻塞: 同步阻塞BIO: 同步非阻塞NIO: 异步非阻塞: 异步阻塞:

网友评论

      本文标题:2022-12-06 | 关于多进程python的异步非阻塞实现

      本文链接:https://www.haomeiwen.com/subject/jxlifdtx.html