美文网首页
SKIL/工作流程/进行实验

SKIL/工作流程/进行实验

作者: hello风一样的男子 | 来源:发表于2019-04-19 17:06 被阅读0次

进行实验

SKIL中的实验对于定义不同的模型配置、封装模型训练以及执行不同的数据清理任务非常有用。实验与笔记本有一对一的关系,并有自己的存储机制,用于在寻找最佳候选模型时保存不同的模型配置。

实验假设你具有基本的编程技能,并且可以使用诸如python或scala之类的语言。

先决条件

在进行实验之前,确保阅读并理解工作区和笔记本。

创建实验

可以在一个工作间中创建多个实验。这允许你执行不同的任务,例如:

  • 训练深度学习模型
  • 转换一个数据集
  • 测试不同的评估方法

若要创建实验,请打开新创建的工作间,然后单击“新建实验(New Experiment)”按钮。

image image.gif ​

在大多数情况下,你可以使用Default Zeppelin server。因为实验与笔记本有一对一的关系,这意味着每个实验都会自动创建一个笔记本,你可以使用导出的Zeppelin笔记本导入现有的JSON文件,也可以创建新的JSON文件。

请务必阅读笔记本了解可用功能。

模型存储

每个实验都有一个内置的存储机制,可以从任何类型的深度学习模型(无论是TensorFlow、Keras(或Keras后端)和Deeplarning4j)中保存权重。如果你试图调优训练过程,如果你想跟踪哪种方法最成功,模型存储很有用。
模型在实验中有自己的选项卡并显示为列表。如果你发现一个特定的模型运行良好,你也可以将它标记为“最佳模型(Best Model)”。

image image.gif ​

笔记本有一些特殊的类,可以将模型保存到实验中。阅读笔记本部分了解有关SkilContext和其他帮助类的更多信息。

模型评估

Standard practice in deep learning is to divide your dataset into 2-3 parts for the primary purpose of testing and evaluating a trained model. Typically you see datasets divided into:深度学习的标准实践是将数据集分为2-3个部分,主要用于测试和评估经过训练的模型。通常,你会看到数据集分为:

  • 训练集
  • 测试集
  • 验证集

SKIL允许你将实验中测试的评估结果附加到保存的模型中。SkilContext有一个名为addEvaluationToModel的特殊方法,在这里你可以将Evaluation类传递给skil。此类包含详细的性能结果,包括准确率、精确率、召回、AUC和逐标签度量。

将评估添加到模型后,它将显示在详细模型视图中该模型旁边。

image image.gif ​

相关文章

  • SKIL/工作流程/进行实验

    进行实验 SKIL中的实验对于定义不同的模型配置、封装模型训练以及执行不同的数据清理任务非常有用。实验与笔记本有一...

  • SKIL/工作流程/实验中的TensorFlow

    实验中的TensorFlow SKIL还支持TensorFlow开箱即用。使用新的Keras API的任何Tens...

  • SKIL/工作流程/在实验中训练模型

    在实验中训练模型 如果你想跟踪结果并进行可重复的评估,实验对于训练模型很有用。一旦你学习了工作间,笔记本和进行实验...

  • SKIL/工作流程/嵌入式SKIL

    嵌入式SKIL 除了提供几乎所有用于创建高效机器学习管道的工具之外,SKIL还可以非常方便地作为嵌入式应用程序。这...

  • SKIL/工作流程/概述

    概述 SKIL减少了实验数据科学建模、关键测试和产品决策以及可扩展部署工程之间的冲突。它弥合了Python生态系统...

  • SKIL/工作流程/资源

    资源 当今世界,我们收集越来越多的增长和复杂的数据集,这些数据集往往需要使用复杂的模型。更重要的是,大型和非结构化...

  • SKIL/工作流程/工作间

    工作间 工作间是一个功能集合,可以实现不同的任务,例如进行实验、训练模型和测试不同的数据集转换。工作间与部署不同,...

  • SKIL/配置/环境用户界面

    环境用户界面 除了在/etc/skil/skil-env.sh文件中进行更改以更新SKIL环境变量外,还可以使用“...

  • SKIL/工作流程/数据转换

    数据转换 在实践中,数据很少以方便神经网络使用的格式存在。它是字符串、类别、数字、不同格式的图像的混合体,而且大部...

  • SKIL/工作流程/定义模型

    定义模型 SKIL有一个强大的模型存储、服务和导入系统来支持主要的深度学习库。SKIL可以用于端到端的训练、配置和...

网友评论

      本文标题:SKIL/工作流程/进行实验

      本文链接:https://www.haomeiwen.com/subject/nxjcgqtx.html