joblib 并行文档研究
https://joblib.readthedocs.io/en/latest/parallel.html#bad-interaction-of-multiprocessing-and-third-party-libraries
在我庸常的如草木一般成住坏空的生命中，如果我要做并行计算，大规模计算（TB级别）我会直接开pyspark,
matlab里直接parfor,python是multiprocessing,R是parallel,SAS是在sas proc之前加options.这些东西都很好，但是都有缺点。
pyspark的并行要用他们自己的pipeline里的模型，如果要用小模型，比如sklearn,imblearn，需要涉及到java内存到python内存的序列化反序列化开销，
虽然经过apache arrow优化后结果可以接受。multiprocessing数据处理能放不能收，数据可以出去算，但是收不到一起，算完的东西
在聚合的时候会出问题。SAS和matlab有软件使用域限制。
但是最近用到了joblib,可能更适用于简单的把所要用的模型并行化。
使用的时候简单照如下句子就可以了
from joblib import Parallel,delayed
from past.builtins import execfile
import os
import copy
cpu_count=os.cpu_count()+1
def self_function(x)
return xxxx
def self_function_2(self_function,x)
return self_function(x)
def self_function_3(self_function,x,y,z):
return self_function(x)+y+z
parallel=Parallel(n_jobs=max(cpu_count-1,1),prefer="threads",require='sharedmem')
#遇到并行化的程序是简单程序，程序里不涉及复用其他函数等的情况，直接写参数可以
out=parallel(delayed(self_function)(i) for i in range(1,11))
#遇到并行化的程序是复杂程序，程序里涉及复用其他函数，并行的同时会导致各子程序读到的数据是上一个进程生产出来的，
#导致数据对不齐，这时候，就需要用一些写法
out=parallel(delayed(optimize_2ndStg)(copy.deepcopy(self_function),
i for i in range(11))
#如果有多个参数，把参数打包zip
ruleParam=zip(rule['k'].tolist(),rule['stk_num'].tolist(),rule['bond_num'].tolist())
out=parallel(delayed(self_function_3)(copy.deepcopy(),
k=i,j=num_j,l=num_l) for i,num_j,num_l in ruleParam)
#
joblib使用设定与须知，从网页里来
Thread-based parallelism vs process-based parallelism¶
joblib parallel默认使用loky backend,因为是用来区分开不同CPU的，
但是实际上这会导致会话&初始化开销，如果你要并行的程序很小，或者
并行的程序之间公用内存，需要互相通信，那么就很麻烦。
可以使用prefer="threads"
Serialization & Processes¶
如果并行的文件很大，使用cloudpickle进行序列化，一般pickle就可以了。
Shared-memory semantics¶
如果涉及到数据分别算，最后还要收到一起，共享内存，那么要写 require='sharedmem'
Reusing a pool of workers¶
有些算法会数次连续用到一个原函数的不同阶段的函数，这时候直接calling joblib.parallel并不是
最优选择，这个时候用joblib.Parallel类里的context manager API去换个写法更好。
Working with numerical data in shared memory (memmapping)¶
默认joblib是用multiprocessing开多核的，但是如果数据量比较大，多核一跑内存受不了，
这个时候joblib.Parallel类会提供解决方案，它会用索引，用另一种文件系统，
Automated array to memmap conversion¶
计算中间结果储存空间，默认占用C盘可能受不了，在这里看看。
Manual management of memmapped input data¶
将不用的内存dump到一个地方
Writing parallel computation results in shared memory¶
如果数据是w+,r+模式打开的，那么核心会得到r+权限，这时候可以直接把结果写到元数据里
减轻读写的消耗。
Avoiding over-subscription of CPU resources¶
一些设置，做进程线程管理，比如电脑4个核，要控制每个核线程的数量。有时候这些设置会被其他用的方法改写，有时候又需要自己改写。
再下面就是其他设置。
网友评论