美文网首页
【R语言】parallel实现多线程

【R语言】parallel实现多线程

作者: 群体遗传学 | 来源:发表于2021-02-24 09:14 被阅读0次

    由于最近用R语言跑的数据比较多,且都是重复的操作,跑一次时间长,所以尝试了下并行运算,所用的包为<font color="red">parallel</font>,使用简单,易于上手。


    parallel的用法

    parallel包的用法非常简单,我们只需要将原本的apply()改为parApply()lapply()改为parLapply(),然后在函数前面加上初始化线程和结束线程的语句即可。

    我们可以通过detectCores()来检查我们自己电脑(或者服务器)的总线程数,并对其进行合理的线程设置。

    示例如下:

    # 设置并行线程数
    num.cores <- 4
    # 初始化线程
    cl <- makeCluster(num.cores)
    # 定义线程函数
    parLapply(cl, seq(1,4), function(x) c(x^2, x^4))
    # 结束线程
    stopCluster(cl)
    

    输出结果如下:

    [[1]]
    [1] 1 1
    
    [[2]]
    [1]  4 16
    
    [[3]]
    [1]  9 81
    
    [[4]]
    [1]  16 256
    

    我们只需对并行的函数进行修改即可实现多线程并行运算,在资源充足的情况下,大大地加快我们的运算时间。

    小小建议

    1. 申请全局变量时,需要把变量放在makeCluster()初始化之前,不然会一直提示报错,报错类似如下:
    ERROR:  Error in doTryCatch(return(expr), name, parentenv, handler): object 'batch.length' not found
    
    1. 使用rm()删除多余变量,以防运行内存过大。

    相关文章

      网友评论

          本文标题:【R语言】parallel实现多线程

          本文链接:https://www.haomeiwen.com/subject/setrfltx.html