美文网首页
R- future.apply 并行包用法简概

R- future.apply 并行包用法简概

作者: 倪桦 | 来源:发表于2023-05-11 17:16 被阅读0次

future.apply 是一个基于future包的并行计算工具包,提供了一种简单而高效的方式来并行化 apply函数族 的操作。

  • 并行计算:future.apply包可以将apply函数族的操作并行化,从而加速计算过程。这对于大规模数据的处理和计算非常有用。
  • 易于使用:future.apply包的语法与apply函数族的语法非常相似,因此用户可以很容易地将现有的代码转换为并行化的代码。
  • 灵活性:future.apply包支持多种并行计算模式,包括multicore、multisession和cluster等模式,用户可以根据自己的需求选择最适合的模式。
  • multicore模式 使用多核CPU来进行并行计算,它可以在同一个进程中启动多个线程,从而实现并行计算。适用于计算密集型任务,比如大规模的矩阵计算、模拟等。(Windows上暂不支持)
  • multisession模式 使用多个独立的R进程来进行并行计算,每个进程都是独立的,它们之间可以并行执行任务,从而提高计算效率。这种模式适用于 IO密集型任务,比如读写文件、网络通信等。
  • 可扩展性:future.apply包可以与其他future包一起使用,例如future.callr、future.batchtools和future.snow等包,从而提供更多的并行计算选项。
  • 跨平台性:future.apply 同时兼容Windows、Linux和Mac OS等系统开启多线程。

总之,future.apply包提供了一种简单而高效的方式来并行化apply函数族的操作,从而加速计算过程,提高计算效率。它易于使用、灵活性强、可扩展性好,是一个非常实用的并行计算工具包。

一般用法示例

library(future.apply);
plan(multisession(workers = 6));
options(future.globals.maxSize = 100 * 1024^4);
sprintf("FUTURE CURRENT WORKERS = %s", nbrOfWorkers());

### Load data
<\your code\>
#### 
future_lapply(setNames(<\your cdoe\>),function(x){
    <\your code\>
},future.globals = T,future.seed=T) -> parallel_lst

plan: Plan how to resolve a future in future: Unified Parallel and Distributed Processing in R for Everyone (rdrr.io)

相关文章

  • Binder简概

    1.什么是Binder?简单描述下它的工作过程和使用场景? (一)Binder是Android中的一个类,它实现了...

  • 腹有书诗气自华

    7” 因为闲着,浏览了简书里的发文。 很多人坚持日更,并写出感概! 我不以为然! ...

  • R-韦恩图系列-VennDiagram

    R-韦恩图系列-ggVennDiagram - 简书 (jianshu.com)[https://www.jian...

  • R-韦恩图系列-ggVennDiagram

    R-韦恩图系列-ggVennDiagram - 简书 (jianshu.com)[https://www.jian...

  • R-韦恩图系列-UpSetR

    R-韦恩图系列-ggVennDiagram - 简书 (jianshu.com)[https://www.jian...

  • JS函数简概

    定义: JavaScript函数是指一个特定的代码块,可能包含多条语句,可以通过名字来供其他语句调用以执行函数包含...

  • 写总结简概

    大概说了说,写的原因,总结的原因,目的,分类,什么时候写?以什么方式保存 ?内容怎么样写 ? 一、原因1.学习一段...

  • 定位理论中的关联用法

    关联用法介绍 关联用法,一言以概之就是通过旧的信息与新的信息发生关联帮助新的信息进入心智,因此关联用法也不仅仅...

  • 暑假第三天打卡

    继续学习了关于webpack+react方面的知识 深入了解了es6的promis用法,并写了简书https://...

  • 一文精通Linux 命令行

    基础 1. 学习基础的bash用法,具体地说,阅读bash的man手册(man bash 并通读一遍);很简...

网友评论

      本文标题:R- future.apply 并行包用法简概

      本文链接:https://www.haomeiwen.com/subject/hfanxdtx.html