美文网首页
Spark可视化机器学习的三脚架

Spark可视化机器学习的三脚架

作者: spark贵 | 来源:发表于2018-12-03 05:39 被阅读7次

    什么是三脚架?

    三脚架首先是三角形,三角形满足2个定理,一是任意俩边之和大于第三边,第二是任意俩边之差小于第三边。

    映射到Spark Mlib可视化机器学习项目,三条边分别代表着项目质量,项目资源,项目开发的速度。

    任意俩项确定了之后,就以确定的俩项为导向,决定第三项,比如当项目质量要求高的时候,项目资源少,那么开发进度慢,资源多的时候,则可以适当加快速度。

    把握好项目质量,项目资源,项目开发的速度三者的关系同样十分重要,而在实际项目中,找到三者之间的平衡点,也不是那么容易的,因为,作为一个产品或者项目的负责人,有可能会遇到一种既要想马儿跑得好,又要想马儿不吃草的老板。这个时候,作为Spark Mlib等类似的To B产品的负责人,就需要好好的和老板沟通了,而沟通的工具就可以参考项目的三脚架了,甚至可以原封不变的直接应用。

    Spark Mlib的可视化机器学习三角架

    (1)项目质量

    项目质量包括以下几大方面

    1 算法组件的丰富程度,如下图所示:

    2 界面的设计友好程度

    3 流程操作的合理性

    4 错误调试的便捷性

    5 自动化任务调度的可用性

    6 支持数据源输入源的多样性

    7 支持数据格式的多样性

    8 数据上传(上云)的便捷性

    9 平台多任务并发的稳定性

    10 ......

    (2) 项目资源

    项目资源主要是指人才资源,在互联网公司,尤其在大数据,机器学习领域公司,人才是公司的核心资产,高质量的人才是保证开发出来的产品质量的基础,也使得在开发速度这个问题上,添加了催化剂一般,得到速度上的提升。

    一般情况下,基于Spark Mlib可视化机器学习这个项目,大致需要以下几种对人才的要求

    1 问题抽象能力

    2 设计模式思维能力

    3 编程能力

    4 机器学习应用实践能力

    5 Web界面设计能力

    6 Spark Mlib二次封装能力

    7 产品可用性分析把控能力

    8 ......

    注:以上提到的这些能力是整个团队所整体具备的,而并非征对团队的某个职位而所述

    (3)开发速度

    开发速度可以采用小步快跑的形式,先以MVP的方式做出一个最小化的可用的demo产品,将最终的产品缩小为一个能表现核心功能的小麻雀,通过主动的获取使用者反馈来快速迭代改进,并不建议一直闭门造车,一定要避免苦心闭关开发出一个产品,结果发现最终的反馈是非常不好的,而用MVP的这种方式进行开发,不仅能较为容易的提速,而且能在很大程度上能减少不必要的工作,比如能够减少以下几种情况的出现。

    (1)做出了一个功能,结果该功能只有极少数人用,且实用性并没有那么大。

    (2)功能多而全,但是没有亮点,所有功能都为亮点,但是因为功能太多,反而增加了用户的使用难度,等于没有核心亮点。

    (3)用了非简单的方式解决了用户的问题,自以为满足了用户需求,殊不知,更接近事实的是:做了很多不必要的功能,却给了用户复杂的解决方案,一旦竞品做出了更简捷的替代产品,那么很容易就会丢失大部分的用户

    相关文章

      网友评论

          本文标题:Spark可视化机器学习的三脚架

          本文链接:https://www.haomeiwen.com/subject/pujscqtx.html