美文网首页
数据研发的岗位技能

数据研发的岗位技能

作者: 晓阳的数据小站 | 来源:发表于2021-03-10 19:15 被阅读0次

    脉脉有个讨论,结合看更有意思:
    点击此处

    |0x00 开局一张图

    image.png

    |0x01 如何理解数据研发岗

    数据研发,又名“大数据开发”、“数据仓库”、“数据技术”等称呼,通常的岗位要求是熟悉数据仓库模型设计经验、熟练运用大数据计算平台、有良好的数据敏感度、具备数据统计的基础知识等要求。

    提炼一下,就是掌握全面的数据技术知识,具备与工程、数据、分析/算法、产品/运营,同时打交道的能力,是一个入门门槛低,但成长难度大的岗位。对标金融,就是从会计到CFO,从行业分析到基金经理的成长难度。

    作为从12年就开始搞数据开发的从业者,我自己的感受,数据仓库/数据建模所面向的场景,并不一定适用于互联网,互联网中涉及到的数据研发,做的更多的是一种“端到端”解决方案:即从数据的采集,到最后数据的应用,做一整套通用的解决方案。我这里讲的数据研发,是偏向业务方向的,并非底层应用。

    |0x02 数据开发的发展历程

    数据开发这个岗位,经历了三个阶段的发展:第一个阶段是MR+运维阶段,当年有句话是“会写MR,月薪过万”;第二个阶段是工具+SQL阶段,在Hadoop生态逐渐丰富后,编程方式从Java/Python逐步走向了统一的SQL;第三个阶段则是平台开发阶段,基础工具成熟了,像DataWorks,基本上不再需要关心底层的应用情况。数据开发的问题,在于随着技术进步,过去开源框架的东西逐步的平台化之后,很多工作被自动化所替代了。

    所以,技术进步不仅会淘汰传统岗位,一些知识密集型岗位,也有被淘汰的风险。

    但,就像数据仓库是一个很古老的概念,数据研发并不会消失,它会存在于较大规模公司中,解决数据的规模问题、质量问题、建模问题等复杂业务场景涉及到的,与Java这一类的工程岗位内容看齐。而中小公司,个人倾向于逐渐的会被淘汰。

    现在的年轻人,都在卷向数据分析师和算法,根因也是工具成熟后,要么向下卷技术能力/算法能力,要么向上卷业务价值了。

    |0xFF 学习路径

    虽然网上知识很多,公众号博客满天飞,但靠谱的学习途径,大致只有四种:

    第一种是从公开课学习,比如网易公开课、Youtube,例如机器学习可以学到吴恩达教授的课程;

    第二种是从官网学习,比如各类的开源框架,官网是对细节阐述最清楚地方;

    第三种是从一些知名牛人撰写的书籍上学习,比如Nathan Marz介绍Lambda的原书;

    第四种是学习论文,比如谷歌对于分布式技术介绍的各类论文,比如Lamport对于一致性的论文等。

    相关文章

      网友评论

          本文标题:数据研发的岗位技能

          本文链接:https://www.haomeiwen.com/subject/grfgqltx.html