2018年3月31日由AICAMP主办的 AICAMP人工智能技术沙龙上海站，在上海徐汇举行，拍拍信高级算法专家受邀担任分享嘉宾，为大家带来主题为拍拍信智能算法平台实践与思考的AI纯技术干货分享。
现场分享实录：
以机器学习，特别是深度学习为代表的人工智能迅速发展，将深刻改变人类社会生活、改变世界。而这都依赖于大数据及其数据分析能力，大规模机器学习和深度学习平台为其核心部分。能够有效降低新技术壁垒，快速分析多模态数据，同时能够完成机器学习、深度学习模型快速部署，在实际生产中得到快速应用。
设计目标及基础架构
拍拍信智能算法平台基于分布式架构、高度自动化、端到端数据流、可扩展、反馈循环的理念进行设计，完成从数据导入→自动化特征工程—自动化建模评估—自动化模型部署—自动化在线自学习流程。
1. 分布式架构(Distributed)
智能算法平台采用Spark为核心计算引擎，对数据进行分布式处理，特征工程建立，同时采用Spark ML 作为基础算法库，支持逻辑回归、Ensemble Tree等模型。同时构建支持Spark的深度学习参数服务器，支持深度学习模型异步训练。支持多种深度学习模型 DNN（深度神经网络）、CNN（卷积神经网络）、 RNN（递归神经网络）基于Spark的分布式训练。
2. 自动化(Automatic)
机器学习模型超参调优一般认为是一个黑盒优化问题，模型的训练过程是相对耗时的，因此需要有更“准确和高效”的方法来调优超参数，进行模型的自动化优化迭代。拍拍信智能算法平台支持Genetic algorithm（遗传算法）、Paticle Swarm Optimization（粒子群优化）、Bayesian Optimization（贝叶斯优化）、TPE等超参优化算法，有效提高模型训练效率。
3. 端到端(End2End)
经过模型训练后会产生相应的模型，而最终目的是将模型应用到新的数据中。 此算法平台支持在线调用及流式处理，能够进行模型的自动化部署调用。
4. 可扩展(Scalable)
在模型上线后，在实际生产环境中如何进行快速扩容/资源回收是一个非常重要的问题。拍拍信只能算法平台，支持模型容器化部署，将算法模型直接打包成docker image 文件，直接部署于K8S集群上。
5. 反馈循环(Feedback Loop)
关于模型在线学习，拍拍信算法平台支持实时模型在线更新以及定时模型在线更新。根据不同业务需求，对于能够实时得到模型反馈的，可采用模型实时更新模块，目前支持贝叶斯优化及FTRL算法。
企业对平台建设和运用的是否重视，一定程度上会决定一个企业的技术高度和业务效率，高度自动化的算法平台能够有效降低新技术的门槛以及提高业务开发效率。 算法平台的开发也面临诸多挑战，如何提供足够的通用性以及高性能的数据处理挖掘是接下来要去研究的主要方向。
网友评论