美文网首页
SKIL/配置/GPU模式

SKIL/配置/GPU模式

作者: hello风一样的男子 | 来源:发表于2019-04-24 11:45 被阅读0次

GPU模式

默认情况下,SKIL未配置为使用本地可用的GPU资源。此外,你还需要确保SKIL在本地安装了CUDA,以确保驱动程序对你的安装有用。
从SKIL v1.1.0开始,启用SKIL的gpu模式将启用“tensorflow-gpu”。

警告

启用GPU模式后,TensorFlow在执行时占用所有GPU内存,在重新启动Zeppelin解释器之前,你将无法启动任何模型服务器。
避免这个问题的一种方法是在将TensorFlow与GPU一起使用时“allow growth”。你可以按照TensorFlow中的指南以这种方式设置TensorFlow。
请看这页,来刷新你的Zeppelin解释器。

安装CUDA

SKIL版本1.0.x需要在服务器上安装CUDA 9.0工具包才能正常工作。如果你使用的是比SKIL 1.1.x更高的beta或版本,则需要CUDA 9.1
如果你想安装最新的CUDA二进制文件和安装程序,可以从NVIDIA网站:https://developer.nvidia.com/cuda-downloads获得。

SKIL配置

如果正在运行,请停止SKIL,并在/etc/skil/skil-env.sh中添加或替换以下行:

SKIL_CLASS_PATH=/opt/skil/cuda/*:/opt/skil/lib/*:/opt/skil/native/*:/etc/skil/*
SKIL_BACKEND=gpu
FORCE_UPDATE_TO_DB=true
DEFAULT_ZEPPELIN_JVM_ARGS="-Xmx12g -Dorg.bytedeco.javacpp.maxbytes=12G -Dorg.bytedeco.javacpp.maxphysicalbytes=12G -Dorg.nd4j.versioncheck=false -Dorg.deeplearning4j.config.custom.enabled=false"

image.gif

注意

设置-Xmx-Dorg.bytedeco.javacpp.*内存以匹配GPU或所有GPU中可用的总内存。
如果你在之前已经启动过SKIL,则需要FORCE_UPDATE_TO_DB。启动SKIL之后,可以(也应该删除)。从UI中设置所有其他配置。
启动SKIL。你应该在“代理”选项卡中看到以下内容:注意GPU#:>0。

image image.gif ​

注意

tensorflow_gpu 默认是没有安装的,它可以通过如下

%sh 
/opt/skil/miniconda/bin/conda install tensorflow_gpu

image.gif

笔记本的段落进行安装。

这也是tensorflow-gpu作为Keras后端所必需的。

相关文章

  • SKIL/配置/GPU模式

    GPU模式 默认情况下,SKIL未配置为使用本地可用的GPU资源。此外,你还需要确保SKIL在本地安装了CUDA,...

  • SKIL/工作流程/SKIL中在多GPU上训练

    SKIL中在多GPU上训练 训练神经网络模型可能是一项计算代价很高的任务。如果你的机器上安装了多个GPU,为了加快...

  • SKIL/配置/负载均衡

    负载均衡因为SKIL将ZooKeeper用于它的devops基础设施,SKIL集群已经配置为多个服务器,将自动负载...

  • SKIL/配置/日志

    日志 你可以通过多种方式与SKIL集成和访问日志。日志配置对于需要从大型集群以有组织的方式获取日志的更复杂的dev...

  • SKIL/工作流程/定义模型

    定义模型 SKIL有一个强大的模型存储、服务和导入系统来支持主要的深度学习库。SKIL可以用于端到端的训练、配置和...

  • 2020-02-11 学习篇:深度学习环境搭建

    1、我的电脑配置可以支持tensorflow gpu吗?查看显卡配置:查看本机显卡配置是否支持本机gpu,需要计算...

  • Linux下CPU和GPU频率调整

    查看cpufreq模式 修改cpufreq模式 查看gpu性能级别 修改gpu性能级别

  • Ubuntu PyTorch 配置GPU环境

    本文主要讲ubuntu18.04配置NVIDIA GPU环境, 并安装配置PyTorch。 先确认GPU型号 方式...

  • SKIL/配置/内存设置

    内存设置 神经网络需要内存,而更雄心勃勃的SKIL项目将需要更多的内存分配给SKIL和笔记本。通常,内存不足是作为...

  • SKIL/配置/高可用

    高可用 当使用云或自托管基础设施时,实例可能是短暂的。在devops的上下文中,“发生的事情”可以翻译为“我可以获...

网友评论

      本文标题:SKIL/配置/GPU模式

      本文链接:https://www.haomeiwen.com/subject/yfnwgqtx.html