R语言--并行计算包（parallel、foreach）

R语言是单核计算语言，在数据建模或计算过程中，常常出现相同或相似任务的重复计算，一般操作是for循环处理或采用apply族函数处理，为了更快完成计算，采用并行计算是更优的选择。

本文采用R语言中的parallel包与foreach包实现并行计算，并针对单变量并行和多变量并行计算这两个常用场景做了函数封装。

安装包

install.packages("foreach")
install.packages("parallel")
install.packages("doParallel")

单变量并行

单变量并行计算，是最常见的应用场景，函数的动态参数只有一个，对动态参数进行遍历计算。采用parallel包实现。

# 单变量并行计算
single_parallel <- function(func,iterable,...){
  "
  :param func:被并行函数
  :param iteralbe:func的1个动态参数(vector、list)
  :param ...:func的静态参数
  :return list,与iterable等长
  "
  #1.加载包
  library(parallel)
  #2.计算计算机内核数
  cores <- detectCores(logical = FALSE)
  #3.打开并行计算
  cl <- makeCluster(cores)
  #4.给每个单独内核传递变量，函数等
  clusterExport(cl,deparse(substitute(func)))
  #5.开始并行计算（用法与sapply类似）
  result <- parSapply(cl,iterable,func,...)
  #6.关闭并行计算
  stopCluster(cl)
  return(result)
}

其中，第4步比较重要，表示向每个进程的R session传入被并行函数和一些全局变量。

多变量并行

多变量并行，是另一个常见的应用场景，是单变量并行的一个拓展，可以理解为mapply函数的并行版本，多变量并行允许传入多个动态参数，采用foreach包实现。

# 多变量并行计算
multi_parallel <- function(func,...,MoreArgs=NULL){
  "
  :param func:被并行函数
  :param ...:func的多个动态参数
  :param MoreArgs:func的静态参数(list)
  :return list
  "
  # 加载包
  library(foreach)
  library(doParallel)
  library(parallel)
  # 内核数
  cores <- detectCores(logical = FALSE)
  # 打开
  cl <- makeCluster(cores)
  # 注册
  registerDoParallel(cl)
  # 并行计算
  dots <- list(...)  # 动态参数list
  result <- foreach(i=seq(length(dots))) %dopar% 
    do.call(func,c(lapply(dots,`[`,i),MoreArgs))  # 数据与参数组成list传入函数
  # 关闭
  stopCluster(cl)
  return(result)
}

结果展示

测试single_parallel和multi_parallel函数，代码以及结果如下。

# 单变量并行测试代码
single_parallel(log,1:10)

##  [1] 0.0000000 0.6931472 1.0986123 1.3862944 1.6094379
##  [6] 1.7917595 1.9459101 2.0794415 2.1972246 2.3025851

single_parallel(round,runif(10),digits=1)

##  [1] 0.4 0.5 0.9 0.9 0.2 0.7 0.3 0.6 0.7 0.8

# 多变量并行测试代码
multi_parallel(paste,c("a","b"),c("c","d"),MoreArgs = list(sep="_"))

## [[1]]
## [1] "a_c"
## 
## [[2]]
## [1] "b_d"