美文网首页开源的机器学习
构建于Spark之上的深度学习框架 -- BigDL (2)

构建于Spark之上的深度学习框架 -- BigDL (2)

作者: 飞驰2019 | 来源:发表于2019-04-14 17:30 被阅读0次

    API接口:

    BigDL提供的API接口覆盖了数据读取特征转换模型定义模型训练的完整流程,且为Local和Spark两种模式同时提供了支持,使用时可以轻易的将模型迁移至Hadoop之上的大规模数据集,十分便利。

    数据读取:

    Tensor:     对训练数据及模型参数的抽象,定义了dense和sparse两种实现。

    Sample:    对应一条训练样本,包含由一个至多个Tensor构成的Feature及同样由一至多个Tensor构成的Label(监督学习)。

    Minibatch:由多条固定大小训练样本构成的batch,定义了dense和sparse两种实现,与Tensor类型一一对应。

    DataSet:  对训练数据集的抽象,由多条训练数据集组成,定义了按batch读取数据的方法。提供了Local和Distributed两种实现,对应不同的使用环境。

    特征转换:

    Transformer:    为数据预处理和特征转换提供的接口,预置了很多常用的实现,也可以自行扩展。

    模型定义:

    为降低使用难度,BigDL提供了一套与Keras极为相似的API,  熟悉Keras的开发者可以十分轻易的上手。

    Model:用于构建神经网络,和Keras一样,提供了Sequential和Functional两种定义模型的方法。

    Layer:神经网络层,预置了很多常用的实现,同样可以自行扩展。

    模型训练/评估:

    Criterion:对损失函数的抽象,对常见的损失函数均提供了支持。

    Optimizer:封装了模型优化的流程,同时实现了Local和Distributed两个版本,对常见的优化算法和学习策略均提供了支持。

相关文章

网友评论

    本文标题:构建于Spark之上的深度学习框架 -- BigDL (2)

    本文链接:https://www.haomeiwen.com/subject/tcrswqtx.html