美文网首页
【R语言】parallel实现多线程

【R语言】parallel实现多线程

作者: 群体遗传学 | 来源:发表于2021-02-24 09:14 被阅读0次

由于最近用R语言跑的数据比较多,且都是重复的操作,跑一次时间长,所以尝试了下并行运算,所用的包为<font color="red">parallel</font>,使用简单,易于上手。


parallel的用法

parallel包的用法非常简单,我们只需要将原本的apply()改为parApply()lapply()改为parLapply(),然后在函数前面加上初始化线程和结束线程的语句即可。

我们可以通过detectCores()来检查我们自己电脑(或者服务器)的总线程数,并对其进行合理的线程设置。

示例如下:

# 设置并行线程数
num.cores <- 4
# 初始化线程
cl <- makeCluster(num.cores)
# 定义线程函数
parLapply(cl, seq(1,4), function(x) c(x^2, x^4))
# 结束线程
stopCluster(cl)

输出结果如下:

[[1]]
[1] 1 1

[[2]]
[1]  4 16

[[3]]
[1]  9 81

[[4]]
[1]  16 256

我们只需对并行的函数进行修改即可实现多线程并行运算,在资源充足的情况下,大大地加快我们的运算时间。

小小建议

  1. 申请全局变量时,需要把变量放在makeCluster()初始化之前,不然会一直提示报错,报错类似如下:
ERROR:  Error in doTryCatch(return(expr), name, parentenv, handler): object 'batch.length' not found
  1. 使用rm()删除多余变量,以防运行内存过大。

相关文章

  • 【R语言】parallel实现多线程

    由于最近用R语言跑的数据比较多,且都是重复的操作,跑一次时间长,所以尝试了下并行运算,所用的包为 parallel...

  • R 多线程跑任务 ----- parallel

    使用的R包 library(parallel),实现多线程操作。多线程即将任务分配到多个核中,能够缩减运行时间。p...

  • R中进行parallel并行运算

    R语言的内置并行包parallel,可以进行多线程调用。其使用方法类似于apply家族函数,常用parApply ...

  • TestNg-09-多线程测试

    TestNg-09-多线程测试1、基于注解 2、基于xml parallel="classs" parallel=...

  • C# 多线程的使用

    此篇文章简单总结了C#中主要的多线程实现方法,包括Thread、ThreadPool、Parallel和Task类...

  • R-小技巧-parallel多线程

    在遇到R里的大量重复操作时,可以考虑使用doParallel包提供的多线程处理技巧,大大提高分析速度。具体使用方法...

  • Chrome

    开启多线程下载chrome://flags/#enable-parallel-downloading

  • 2018-11-13每日一词parallel

    parallel/'pærəlɛl/,“parallel”作形容词讲,本意是“与......平行的(A is pa...

  • R语言如何多线程

    R语言如何多线程 相对于python或者perl来说,R给我的感觉是速度不是太快,有时候部分程序是可以用多线程进行...

  • Go 语言多线程实例

    Go 语言多线程实例 本文代码使用了goroutine实现了多线程,使用chan来控制多线程。runtime.GO...

网友评论

      本文标题:【R语言】parallel实现多线程

      本文链接:https://www.haomeiwen.com/subject/setrfltx.html