美文网首页
机器学习数据科学家的工作

机器学习数据科学家的工作

作者: Koap | 来源:发表于2018-11-19 17:51 被阅读0次

    打造一款机器学习产品是多方面的复杂任务。下面是机器学习专家在工作中需要做的事:

    理解语境

    • 找准能从机器学习中受益的区域

    • 与其他相关人员讨论机器学习能做什么、不能做什么

    • 让每个人都了解商业策略、风险和目标

    • 明确目前公司有什么类型的数据

    • 对任务制定合适的框架

    • 了解操作限制

    • 提前确定可能的道德风险,例如你的成果有可能被滥用、或被用于宣传

    • 确定潜在的偏见和潜在的负面反馈

    数据

    • 制作能收集更多不同数据的计划

    • 将不同来源的数据汇总

    • 处理缺失的或被污染的数据

    • 数据可视化

    • 建立合适的训练集、验证集和测试集

    建模

    • 选择使用哪个模型

    • 将资源模型纳入约束条件(即最终模型需要在顶尖设备商运行,内存少、延长时间长等等)

    • 选择超参数(包括架构、损失函数、优化器)

    • 训练模型,并进行debug。其中包括调参、查看损失函数、训练错误、验证错误是否有改变、监测模型数据、确定错误来源、改变数据清洗和处理的方式、改变数据增强方式、添加更多数据、尝试不同模型、是否过度拟合。

    模型生成

    • 创建一个API或网页app

    • 将模型输出成想要的格式

    • 计划模型多久需要重新训练一次并更新数据

    监测

    • 追踪模型性能

    • 监测输入数据,确定数据是否会随时间使得模型失效

    • 与其他人员交流结果

    • 制定计划,如何监测和应对意外结果

    相关文章

      网友评论

          本文标题:机器学习数据科学家的工作

          本文链接:https://www.haomeiwen.com/subject/vtvafqtx.html