美文网首页大数据,机器学习,人工智能大数据 爬虫Python AI Sql
意识到自己没有办法成为 top 1% 的程序员,还应该选择程序员

意识到自己没有办法成为 top 1% 的程序员,还应该选择程序员

作者: TASKCTL | 来源:发表于2020-12-14 16:31 被阅读0次

    首先:

    在互联网IT技术研发运维岗存在一个用男不用女的现象,尤其是Java开发岗几乎是不招女生;大都觉得女孩在工作中的抗压和自我调节能力不够好,在项目中赶需求压力大的时候让本来就发量稀疏的头顶更是雪上加霜;最最最重要的,圈子怪圈你永远逃不出30-35岁的这个转行&转型的门槛,不论男女,你总是能在你刚毕业入行不到2年的时间段提前看清自己在职场的宿命;不要杠,事实就是如此!


    ETL大数据才是真的高富帅

    人工智能,就这样被定义为人类社会的 “第四次工业革命”

    在智能大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇。而这之中,通过用户数据信息创造商业价值的ETL大数据工程师一骑当先。

    功能强大的ETL技术适应能力强,为大数据功能的实现提供了更多的解决方案,现已成为众多公司的选择。

    下面我们来分析一下大数据在未来的优势:

    1.市场需求量大

    经常调查显示,去年有很多大小互联网公司都在布局大数据。而目前大数据方面的人才依旧十分紧缺,比如大数据生态Spark需要的Scala工程师。基于ETL和Scala等技术密切的关系,有些大数据公司会直接培养大数据工程师。


    2.就业方向广泛

    大数据的人才以后可以进行的工作有很多种,下面举几个例子:


    大数据开发工程师

    基础大数据服务平台,大中型的商业应用包括我们常说的企业级应用(主要指复杂的大企业的软件系统)、各种类型的网站等。负责搭建大数据应用平台以及开发分析应用程序。

    大数据分析师

    负责数据挖掘工作,运用Hive、Hbase等技术,专门对从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。以及通过使用新型数据可视化工具如Spotifre,Qlikview和Tableau,对数据进行数据可视化和数据呈现。

    ETL工程师

    etl软件开发工程师简称ETL工程师,是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师,主要职责就是:海量数据的ETL开发,抽取成各种数据需求。参与数据仓库架构的设计及开发 以及数据仓库ETL流程优化和解决ETL相关技术问题。

    还有很多其它职位比如大数据挖掘等就不一一说明了。


    3.行业起薪高

    通过这篇文章我相信大家对IT大数据行业都有一点了解,在这个大家都呼吁的大数据时代,做ETL大数据是一个非常好的选择,我相信即使几年以后大数据依旧是一个很好的领域。

    下面在拉勾网截取的部分ETL工程师的起薪薪资:

    在国外,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬也比同级别的其他职位高出30%以上。在未来若干年内大数据工程师都会是供不应求的状况,指望大学培养出合格的大数据人才有如天方夜谭,因此程序员们,你们的春天到了!


    女孩子适合做ETL工程师嘛

    ETL 的学习并不分男女,重要的还是靠个人,不像java开发几乎不招女生。现在很多做数据分析的公司,做etl开发的全是女生,公司做技术岗三分一女生基本上都是在ETL工程师。

    所以如果喜欢可以放心的去学习,现在etl开发的市场需求量大,目前在国内这个领域还是蓝海,职业前景方面工资也很可观的,有编程基础转型做ETL工程师还是很简单,毕竟岗位对编程技术没有过高的要求,也不存在到了30-35面临下岗转型这一蛋疼潜规则;


    如何0基础转型自学ETL

    有编程基础的学生&在职人员:

    熟悉sql语言;会简单脚本(shell)编程,会使用一种ETL数据抽取工具(kettle);会使用一种ETL作业自动化排程工具(taskctl);熟练使用增删改查、会添加主键索引,熟练使用时间格式转换,会行转列列转行,会update数据更新,会写sql存储过程。


    安装数据库工具:

    常用的关系型数据库语言都要会,包括mysql,sqlserver,oracle,db2数据库。所以学习sql需要第一步要安装数据库,及数据库管理工具(关于数据库管理工具这里建议使用navicat)

    mysql安装包:Mysql8.0安装教程

    sqlserver安装包--提取码:886p

    oracle安装包--提取码:25p6

    navicat安装包:Navicat Premium 15.0安装教程

    oracle数据库在使用时需要 安装jdk--提取码:3ss8

    jdk安装后需要配置环境变量:JDK安装与环境变量配置

    软件安装好后,就用navicat链接这3个数据库。


    sql需要学习

    sql学习先了解基本的查询语言,进一步提升需要结合kettle进行学习

    第一步学习sql查询语言,对数据库有大概的了解。

    推荐mysql-3小时入门视频:https://www.bilibili.com/video/BV177411U7Yr/

    SQL配套练习1:https://blog.csdn.net/mrbcy/article/details/68965271

    SQL配套练习2:https://blog.csdn.net/flycat296/article/details/63681089


    ETL数据抽取工具(kettle)及作业排程工具(taskctl)的使用

    掌握ETL增量、全量、插入更新等抽取方式;能集成excel,数据库,web接口,hive,spark等数据源;

    这里推荐大家学习 taskctl,安装入门简单。结合Kettle也是永久免费的。

    taskctl安装包:Taskctl Web版--提取码: 97mk

    taskctl学习视频:https://www.bilibili.com/video/BV1jz4y1y7nL


    shell编程

    能写简单的shell脚本,比如通过1个shell脚本将5张表导入到目标库中。

    shell视频:https://www.bilibili.com/video/av31981602?p=15


    最后

    ETL工程师会发现有很多岗位,所以我们学习之后不会存在找不到工作的情况。进一步提升可以往大数据工程,数据产品经理,或者大数据产品经理发展。

    转行到etl开发后,建议先用半年努力学习公司所需要的知识和技术,熟悉公司业务后、从第7个月开始学习大数据相关组件,学习半年后在投递大数据工程师相关岗位。

    最后关于etl转行说下学习成本。etl开发学习成本真的很低很低,基本上自学1个月就可以开始找工作,而我们学习后跟 java开发、跟数据分析工资基本上是一样的。

    与数据分析相比,市场需求更多,学历门槛更低。最后一起努力吧。

    相关文章

      网友评论

        本文标题:意识到自己没有办法成为 top 1% 的程序员,还应该选择程序员

        本文链接:https://www.haomeiwen.com/subject/ejgvgktx.html