18年10月从北京来了上海之后，入职的一家金融公司。刚开始入职时，公司数据量不是很大，用Excel就基本可以完成日常数据需要。
我作为部门初期技术加入后，开始部署信息管理部的数据库，申请了新的服务器，安装了MySQL和ETL工具及调度工具，因为预算有限ETL工具使用的是免费kettle，调度工具使用的也是免费的Azkaban，当初第一次安装Azkaban费了不少力气。
环境部署好了之后，接下来就是干了。一方面以前做Excel的同事边学习SQL边继续原先的工作。我最初是搭建ods层，将不同系统数据对接至部门数据库，从建表开始一步步对接，一周后回头看数据库从空库变成如今的样子还挺感慨。
ods层完毕后，开始将Excel同事负责的表通过SQL翻译成逻辑，形成自动化的表，不再需要同事到点就去crm系统下载数据，贴数据，再用PowerQuery处理。我们每周进行SQL培训，以前的同事开始学习SQL，半年后Excel成了辅助工具，信息管理部也完成了“技术”转型。但当时的主要目标是还是解决因数据量大导致Excel无法完成日常报表需求的难题。
后来随着公司的发展，拥有了投顾和财商业务线，加上部门团队的壮大，对接了多个系统数据后，为保证数据的可用性、数据质量和数据安全。因此部门提出了“数据治理”的概念，我开始负责数据治理项目（具体数据质量在工作中的应用会在单独的文章中详细描述）。
数据治理初显成效后，转为数据仓库搭建。因为公司业务线并行，因此根据业务线与数据隔离的要求做了不同的主题数仓。因公司有自己的推广团队，作为公司花钱最多的部门，在数据方面予以最大的支持。因此我又调去做了推广的数据，因推广涉及数据链条最多，最广，最长，因此直到现在我仍在做推广相关数据。
我在这家公司即将四年了，这些年部门同事面试一批走掉一批又来一批，我成了那个最“老”最“熟”的人。
见证了东家的起伏成长，我从中也学到很多，希望接下来能够将我对工作的见解以文字的形式分享出来。
网友评论