前阵子农历新年，倒是见到了许多很久没见的亲戚与朋友。过去的一年里，因为covid的关系，大家走动的都很少。倒是最近这段时间，疫情控制的不错，亲友们也走动了起来。与长辈们同处一室的时候，少不了要聊聊家常。也不知道其他国家的人们在聊家常时，会讲些什么。只是，在我的印象里，我们家过年时候的家常，多是工作与婚姻。不得不说，事业与爱情，这还真是两个永远都不会过时的话题。
关于婚姻么，没什么好说的，一如既往的单着，没有对象。一个人在孤独的路上越走越远，也越来越能与自己相处，能耐得住寂寞，虽然心中很是期盼，但也绝对不会随随便便的就找个人凑合了。而工作的事情，就可以稍稍说多一点，毕竟转行快六年了，有不少的故事可以讲。我就结合自己的亲身经历，也从一个前工程师的角度，来剖析剖析数据分析师这个职业好了。
与人聊天，跟人提及自己是数据分析师的时候，很多人都会把数据分析归类到IT里面。实际上，就我自己所接触的人来看，我所接触到的大部分数据分析师，都没有IT的背景，反而是工程与商业背景的居多。不得不说，现阶段的我，确实很依赖各种IT工具，也会有许多编程相关的业务。一般看来，我的工作性质的确很像IT。因为，很多的时候，我也要敲代码，要调试程序。其实，我也是个搬砖人，只不过我搬的砖，不是窑里面烧出来的砖，而是一段又一段的代码。而我所建立的，不是物质上的东西，不是砖瓦搭建的房子，而是通过对数据的分析与理解，给人以建议，帮人做决策。或是自动化能够被电脑代替的人工流程，从而解放人力，提高公司运营效率。
简单来说，数据分析可以按流程分成以下步骤。数据提取，数据清洗，数据整合，数据建模，模型测试与优化，自动化以上流程。简单讲一下这些词汇，姑且拿餐厅来做个类比:
数据提取，去不同地方把需要的数据提取出来，比如说数据库，网页，Excel表格，文本文件，或是其他软件的API。这就好像在东边的菜市场买胡萝卜与土豆，南边的肉市买牛肉，西边的调料市场买五香粉。
数据清洗，往往我们从不同地方拿来的东西，会有很多错误，并不能直接使用，需要做很多的修正。就好比买完菜之后，要把蔬菜里面的烂叶子摘出来，要把土豆表面的泥水洗掉。
数据整合，把清洗完的数据，通过一定的关键值连接起来，做一定的预处理，方便之后的模型输入。要把胡萝卜，土豆和牛肉都切成大小相似的小块，调料也在旁边用小碟准备好，这样烹饪起来会更加的方便。
数据建模，最核心的就是这一块了，所有的分析都在这里完成，通过用数据建立的模型来解决问题。这个得是菜谱了，经验丰富的大师傅要开始依着菜谱炒菜啦。
模型测试与优化，往往一个模型的建立，不能第一次就给出理想的结果，需要不断的调试，不断的验证，不断地用不同的情况去测试它，然后在一次又一次的失败里面改善它。就像一个厨师做完菜之后，也要尝一尝，看看要不要再加点盐，或是改动一下菜谱的一些调料配方，力求达到更好的味道。
自动化，通过各种工具与软件，实现以上所有步骤的自动化，让电脑自动完成所有事情。这个倒是不好类比，但未来的餐馆会不会是这样呢。智能的餐馆会自动预估之后几天的客流量，然后自动在网上下单买进食材，然后厨房机器人会自动洗菜切菜做饭然后把饭菜端给客户，等客户吃完了，在根据客户的反应来调整自己的程序，或是多放盐，或是煮久一点，从而一直进化菜谱与厨房的流程。
这样看来，数据分析和厨师都相通了，那么我一个工程师转行做了数据分析，也就不会那么的难以置信了。但事实上，我做太阳能工程师的时候，有很大的一部分时间，都在做数据建模相关的事情。工程模型的数据量或许不大，但与之相关的数据维度却是很多。相比起来，太阳能相关的建模，难度也更高。以前做工程师的时候，大概有一小半的时间在画图，比较像是建筑设计师，会使用建筑师的软件构画简单的房屋图。而一多半的时间，都是在做复杂的数据建模。做可行性分析的时候，需要一个模型模拟每日的太阳走位，另一个模型通过分析过去十几年的的天气数据来预测未来的天气，除此之外，还有不同金融借贷模型，太阳能产出模型以及杂七杂八的支持工具。就像给野地施工队设计图的时候，要考虑他们的地理位置以及当地的磁偏角，磁偏角这个东西，纬度越高，偏差越大。要是把高纬度的太阳能电站按着指南针的朝向安装，或许那个电站的朝向就不是正北或是正南，从而也达不到它应有的功率。虽然影响很微小，但对于电站来说，角度偏差一度，一年可能就有几十万人民币的差别了。变化着几十种不同的参数，调出几组可能性的结果，好供客人参考，决定以何种方式进行项目。
也是因为有着繁琐的工程数据建模经验，才能稍微容易一点的切入到数据分析的这个行业里来。几年前，由于业务量的增加，公司开始向市场招聘数据分析师，作为技术面试官，我也跟着主管们一起面试了不少人。不得不说，这真是一个人才鼎盛的行业，猎头公司推荐了很多人，招聘网站上也收到了很多简历，HR刷掉一大批之后，还是有很多的简历会被递交上来。断断续续的面试了两个月，始终找不到如意的。作为技术面试官，我准备了一些考题，主要考验申请人的数据清洗，数据整合，数据建模，和解决问题的能力。只是，少有人能走到技术测试的那一步，无奈之下，只得选了个技术考试成绩并不理想的人。这是一个鼎盛的行业，但找到合适的人，却是如此的难。
说到底，数据分析最核心的，不是你会多少种编程语言，也不是你会用多少种分析工具，而是你能通过自己的知识与经验，找到解决问题的方案。当你有了解决问题的思路，你就能去网上找到各种各样的代码，或者利用各种各样的工具来实施你的想法，从而用最合适的的方法来解决问题。而面对面招聘的时候，很难看出一个人的这些能力。因为在读简历的时候，你只会觉得，有很大一部分的人，都是小说家。
夜也深了，就写到这里吧。记得之前有人问我，是不是当那些日常的报告都自动化之后，就不需要做报告的人了，这样是不是那些做传统报告的人饭碗不保。我没有直接回答，我只是说了工业革命时候，有很多人会砸机器，因为机器代替了手工职业者。但是时代的潮流滚滚向前，最终，整个社会还是接纳了机器。不为别的，只是因为没有换机器的公司，都被换了机器的公司挤垮了。所以，你要做操作机器的人，还是做砸机器的人呢。
生命不息，学习不止。
徒步
格格
呵呵哒
暖
暖暖
PS:
由于疫情的关系 过去的一年好像过得好快 感觉都没做什么 这一年就没了
是因为是鼠年 所以就偷偷摸摸的过去了么 希望今年能好一点 能牛气冲天
倒是有一年半没有玩线下剧本杀了 朋友组了个局 3月21日下午 线下剧本杀 九人本 现在已经七个小伙伴报名了 还有两个空位 想玩线下实景剧本的小伙伴们 可不要错过了呀
网友评论