美文网首页
SKIL/配置/Spark解释器

SKIL/配置/Spark解释器

作者: hello风一样的男子 | 来源:发表于2019-04-24 11:41 被阅读0次

Spark解释器

可以配置笔记本和Zeppelin Spark 解释器,以使用Spark来获得更多的处理能力。如果本地Spark实例的计算能力不足,这将非常有用。你可以通过右上角的用户名下拉菜单访问解释器设置,如下图所示。

Accessing interpreters image.gif ​

访问解释器

搜索Spark解释器并单击“编辑”按钮

Editing spark interpreter settings image.gif ​

编辑Spark解释器设置

你可以按“+”按钮添加额外的键/值对。你可以在这里找到其他可配置的spark属性。

Adding extra key/value pairs image.gif ​

添加额外的键/值对

示例
大多数DL4J、DataVec和ND4j库都位于SKIL_HOME/lib和 SKIL_HOME/native文件夹中(其中SKIL_HOME通常为/opt/skil)。要在Spark中以导出模式运行分布式训练,需要以下Spark解释器配置:

Adding dependencies for the spark jobs image.gif ​

相关文章

网友评论

      本文标题:SKIL/配置/Spark解释器

      本文链接:https://www.haomeiwen.com/subject/wbgwgqtx.html