《构建实时机器系统》

这本书主要介绍了一些常用的工具如数据分析pandas、机器学习scikit-learn、安装部署docker技术、消息队列、实时数据监控ELK。以及如何借用这些工具构建实时机器学习系统。

构建实时机器学习系统思路

• 不重复造轮子
• 没有模型是完美的，随着时间的推移，需要不断改进模型
• 重视上下游生态 ，需要方便解释和学习

衡量机器学习模型

image.png

时效性分类

根据时效性，机器学习大致分为三种模式：硬实时、软实时、批处理

硬实时

定义：接收到请求时，马上对请求做出响应
应用场景：网页浏览、在线游戏、高频交易等对时效性要求非常高的领域
技术实现：

image.png

软实时

定义：接收到请求时，立即开始对响应进行处理，在较短时间内进行反馈
应用场景：物流运输、较为频繁的数量金融交易场景
技术实现：

image.png
可以借助已有开源技术storm或flink等

批实时

定义：批到达的数据进行实时处理
应用场景：处于模型训练和数据加工上场景。例如，对于数量金融等场景，从业人员往往需要对一定时间窗口中出现的成交量进行加总；对于气象预测等场景，单位时间窗口中的降雨量是进行预测的重要指标；对于社交舆情分析，从业人员需要对一定时间窗口中的关键词进行汇总分析。
技术实现：

image.png

可借助的开源技术spark streamig

未来

serveless和深度学习

深度学习的难点

• 解释性工具缺失
• 应用场景限制，需要大量的数据
• 模型训练成本限制，需要高性能计算