美文网首页数据分析玩转大数据Python语言与信息数据获取和机器学习
2017,要这样学数据分析丨数据工匠简报(Feb. 27)

2017,要这样学数据分析丨数据工匠简报(Feb. 27)

作者: Datartisan数据工匠 | 来源:发表于2017-02-27 11:09 被阅读229次

    摘要:初学数据分析的朋友,在2017年应该如何学习数据分析;郑宇博士的“城市计算” 又是如何计算出人群的流向。本周数据工匠简报带您一探究竟。

    2017,要这样学数据分析

    好多初学数据分析,或想转行做数据分析的朋友,经常私信问我:数据分析是个怎样的工作?赚钱吗?可不可以转行做数据分析师?零基础或有基础,应该如何学习数据分析?为了解答朋友们的问题,刚刚做了一次视频直播,我觉得效果和发挥的状态还好,就以笔录的形式分享给大家,希望能对大家有所帮助。

    视野决定了境界和能力,而所处的环境又决定了视野。好多人不知道什么是数据分析师,认为会熟练使用Excel就是数据分析师,如果你还会使用Excel中的一些高级功能如透视和函数等等,可能别人就认为你是牛*的数据分析师了,如果你工作中还用到了VBA,(word天啊!),在别人眼中你就是数据分析大神了。真的是这样吗?诚然,单用Excel的确可以解决大部分的数据问题,但是作为一个数据分析师,你并不是一个基层的统计分析从业者,那么数据分析师应该是怎样的职业呢?

    数据分析的职位分类按照数据处理的不同阶段分为数据采集、数据分析、与数据挖掘三种。其中数据采集的概念是对企业来说的,是jacky企业(航航数据)在做的事,包括原始数据源的采集和地理信息数据的采集,这里受众面太窄,就不一一说了,想了解的朋友可以私信我。

    下面主要说下数据分析和数据挖掘的职位:
    大家要记住一句话:数据分析的职位分为业务方向与技术方向两个方向,这两个方向决定了两条不同的职业规划和晋升途径,包括下面章节要说的数据分析的学习规划也跟这两个方向紧密相关。


    预测人群流向:他的这项技术能知道朝阳群众们都要去哪儿

    从 2008 年开始,来自微软亚洲研究院的郑宇博士开始主持一项名为「城市计算」的研究,具体地说,城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战(如环境恶化、交通拥堵、能耗增加、规划落后等)的过程。

    在这个多种学科交叉(城市规划、交通、能源、环境、社会学和经济学等)、覆盖面积极大的领域,其主要研究的问题有四项:

    • 城市感知:如何利用城市现有的资源(如手机、传感器、车辆和人等),在不干扰人们生活的前提下自动感知城市的韵律。如何从大量的传感器和设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。
    • 海量异构数据的管理:城市产生的数据五花八门,属性差别很大。例如:气象是时序数据,兴趣点是空间点数据,道路是空间图数据,人的移动是轨迹数据(时间+空间),交通流量是流数据,社交网络上用户发布的信息是文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑战。
    • 异构数据的协同计算:这部分包括三个方面:(1) 如何从不同的数据源中获取相互增强的知识是一个新的课题。传统的机器学习往往基于单一数据,如自然语言处理主要分析文本数据,图像视觉主要基于图像数据。在城市计算的很多应用中,对不同性质的数据一视同仁,其效果并不理想。(2) 在保证知识提取深度的同时,如何提高对大数据的分析效率,从而满足城市计算中众多实时性要求较高的应用(如空气质量预测、异常事件监测等),也是一个难题。(3) 数据维度的增加也容易导致数据稀疏性问题。当数据规模达到一定程度,简单的矩阵分解算法都变得难以执行。
    • 虚实结合的混合式系统:城市计算常常催生混合系统,如云加端模式,即信息产生在物理世界,通过终端设备被收集到云端(虚拟世界)分析和处理,最后云再将提取的知识作为服务提供给物理世界的终端用户。数据在物理和虚拟世界中来回穿行,从分散到集中,再到分散。这对系统的设计和搭建提出了更高的要求。

    计算机取代人类工作,人类该如何应对

    现在是时候面对现实了:由于数量空前的技术进步和高度互联的信息网络,全球就业市场正发生快速变化,而全球范围内的雇员都难于在其中竞争。

    过去数十年的 技术变革速度 是有史以来最快的,我们生活在一段 指数式增长 的时期。这些技术从长期来看是有益的,但它们常常造成短期内的就业岗位流失,从而导致员工焦虑以及临时失业的问题。

    例如,我们可以想一想世界上最普遍的就业类型:驾驶机动车辆的司机。本周,在匹兹堡完成为期 3 个月的测试之后,Uber 开始在旧金山的街道上部署自动驾驶的 UberX 汽车。

    虽然这在目前是一次小规模的部署(而且 Uber 仍然需要司机坐在驾驶座待命),但这股潮流将大幅减少司机岗位的数量。试想一下,等到我们能够大规模地部署自动驾驶汽车,会 有多少工作岗位可能消失不见 。我们将不再需要很多人类司机,那么这些雇员身上将会发生什么呢?

    把这些跟人工智能的进步综合在一起来看,一些专家认为,世界上 有三分之一到二分之一的工作将面临被自动化技术取代的风险 。今天需要思考接下来做什么的是 Uber 司机,明天可能就是我们当中接近半数的人。

    重点在于,我们并非出现了失业问题,而是遭遇了工作不匹配的挑战。这样的错配曾在历史上发生过多次,尤其是在经济出现意想不到快速变化的时期。


    以上简讯由数据工匠提供,感兴趣的小伙伴可以通过扫描简报后的二维码链接原文,更多数据科学资讯尽在数据工匠,扫码关注 Datartisan 数据工匠公众号!如果你看到什么与“数据科学”有关的好文或者信息科技优质的文章,可以随手转发给我们,让更多热爱数据科学的小伙伴一起成长!


    相关文章

      网友评论

        本文标题:2017,要这样学数据分析丨数据工匠简报(Feb. 27)

        本文链接:https://www.haomeiwen.com/subject/zwapwttx.html