美文网首页
R语言内存不足以及多线程问题

R语言内存不足以及多线程问题

作者: kkkkkkang | 来源:发表于2020-11-24 21:16 被阅读0次

很久很久没更新了,最近遇到了如题所示的问题

  1. 内存不足:
> memory.limit()
[1] 16033
#Windows上才有,Mac上是Inf
#这。这才16M啊,怪不得
#设置为16G
 > memory.limit(16000000)
[1] 1.6e+07

然后安静的让他跑着,回去睡觉了。但是。 一个核跑了一夜也没跑完
然后查了一下有parallel包,

> library(parallel) 
#R自带的一个包
#首先检查电脑有几个核心
> detectCores()
[1] 12
> system.time({
+     a <- 1:1e7
+     b <- lapply(a, function(num) {sqrt(num)})
+ })
 用户  系统  流逝 
9.671 0.255 9.946 
#设置可利用的核心数
> cl <- makeCluster(4)
> system.time({
+     a <- 1:1e7
+     b <- parLapply(cl, a, function(num) {sqrt(num)})
+ })
 用户  系统  流逝 
1.951 0.320 5.099 
#最后记得关掉多线程
> stopCluster()

加速显而易见,但是也不是成比例的,任务分发以及各核心之间转换也需要时间

#设置可利用的核心数
c l <- makeCluster(4)
SQMobjs <- parLapply(cl, samples, loadSQM)
#第一个参数是核心数,第二个参数是和lapply一样的,作为第三个参数-函数的实参。第三个函数可以自己编写,也可以外部library一下
#这里loadSQM就是外部的函数

fine, 焦虑。做实验去

相关文章

  • R语言内存不足以及多线程问题

    很久很久没更新了,最近遇到了如题所示的问题 内存不足: 然后安静的让他跑着,回去睡觉了。但是。 一个核跑了一夜也没...

  • 学习小组Day4笔记--扬马延

    R语言学习 1. R以及R studio安装 直接搜索R语言网页可直接安装 2. R语言入门 参考书目《R for...

  • R语言如何多线程

    R语言如何多线程 相对于python或者perl来说,R给我的感觉是速度不是太快,有时候部分程序是可以用多线程进行...

  • 面试官:小伙子你知道几种内存溢出的原因和解决办法

    内存不足是影响生产中Java(和其他JVM语言)应用程序的最常见问题之一。这篇文章解释了如何识别内存不足的问题,并...

  • 《学习小组Day 4笔记--JnG》

    今天是进行R语言操作的日子 1.首先是下载R语言啦以及其操作平台Rstudio 2.简单的入手R语言操作命令R语言...

  • 学习小组day4笔记--思亮

    R语言基础 1. R 以及 R studio的安装 安装出现问题,用搜狗微信搜索:“果子学生信 给自己一个全新的...

  • R语言多线程运算

    如果你有台好电脑,R语言多线程绝对打开一个新的世界,而如果有台超级计算机,恭喜你,要上天了。R多线程其实就是基于向...

  • R语言视频笔记

    【生信技能树】生信人应该这样学R语言 01.介绍R语言及Rstudio 1.了解并安装R,Rstudio以及R包 ...

  • Android 内存优化

    1、内存不足会导致什么问题? 内存里可以细分为 VSS 虚拟内存、PSS物理内存 以及堆内存;这三个内存不足都容易...

  • 2019-05-05

    conda 安装R语言以及R包 可以在http://repo.anaconda.com/pkgs/r/上使用con...

网友评论

      本文标题:R语言内存不足以及多线程问题

      本文链接:https://www.haomeiwen.com/subject/puuwiktx.html