开篇前,笔者啰嗦两句。前几篇文章,收到一些朋友反馈,你的文章不太好理解,能不能写简单易懂点?嗯,我已经在努力了。说实在的,写一个观点,比写系统性的文章,好写太多了。还是在说下我的坚持吧:我希望我的文章,是能解决部分人的知识焦虑问题,并且看完后是能指导行动的。如果你觉得太晦涩了,有可能你不是这部分人;如果是,建议收藏起来,空了再读一下或找我一起探讨共同成长。来,学海无涯苦作舟。
一、导语
这部分分3个点讲述,为啥要写这篇文章、阅读注意事项及全文内容框架。
1、为啥要写
笔者并不是什么人工智能界的大牛,倒是接触了些厉害的前辈,因此顶多就是入门吧,或者刚临门一脚。因此,写这篇文章是有私心的:以教为学,通过系统梳理1年来,所学习、所思考的以及所实践的零散知识点,以便能够高效地指导日常工作。如果对你有些许帮助,我深感欣喜。
2、阅读注意事项
跟大家提前交代下,避免有所误解。文章讲得并不是AlphaGo是如何一步一步战胜柯洁的,也不是图像识别算法实现原理。本文目的是通过串联大数据工作中各知识模块,以帮助大数据产品经理推动工作落地。因此:
2.1 侧重人群
① 刚入门的大数据产品经理(偏业务端)
② 工作中有应用土壤公司的产品经理
③ 有计划往这大数据行业进行学习的产品经理
2.2 文章内容
① 内容范围涉及非常大,笔者也很担心可能会失去重点,所以在每个章节尽可能都给出重点概念;
② 因为专业术语偏多,我尽可能举例通俗化,难理解的可跳过,收藏后再慢慢啃硬骨头
2.3 笔者期望
期望目标人群看完后,对开展大数据产品工作所需的能力模型有宏观认识,同时能够指导下一步学习行动。
3、行文框架
本文将从3个方面讲述,人工智能行业是怎么样的、大数据产品应该具备的软实力和硬技能,以及推荐学习的内容合集,见如下:
二、人工智能是什么
入门先入行,首先了解下到底什么是人工智能。该章节讲从三方面讲述,什么是人工智能,发展历史以及人工智能的应用场景。第二章节不会非常深入,点到即止,想详细了解可以看我推荐的书籍及文章。
1、什么是人工智能
人工智能,是大家常说的AI,全称为:Artificial Intelligence。维基百科是这么解释的:人工智能,任何能够感知其环境并采取行动以最大化其成功实现目标的机制的设备。通俗点理解就是,机器能够做一些类似人类的行动,因为它像人所以被赋予了智能两字。大牛对人工智能的分类有如下三种(来源网络)
① 分析智能(弱人工智能):产生世界的认知表征,并使用基于过去经验的学习来为未来的决策提供信息。
② 人类启发智能(强人工智能):包括认知元素,人类情感、理解以及在决策中考虑它们
③ 人性化智能(超人工智能):显示了所有类型的能力(即认知,情感和社交智能)的特征,能够在与他人的交互中自我意识和自我意识。
2、发展历史
回看人工智能这个领域的发展,真的是跌宕起伏的50年啊。就好比一个妃子,忽然得宠,春风得意;忽然被打入冷宫,受尽折磨。为什么近些年这么火,得益于移动互联网沉淀了海量的数据和云计算能力的蓬勃发展。这段历史我不展开,大家记住两点就好。
2.1 起源及人工智能之父
1956年在达特茅斯学院的一个研讨会上,阿瑟·萨缪尔(人工智能之父)等人和他们的学生向会议展示了:一个具有自学习能力的西洋跳棋程序,通过大量分析,该程序能够识别“好棋”和“坏棋”,并不断提高弈棋水平,并把阿瑟·萨缪尔战胜,震惊四座。此时,阿瑟·萨缪尔发明了“机器学习”一词
2.2 关键的事件
① 50年代中后期的基于神经网络的“连接主义”
② 80年代的决策树学习信息,仍为常用的机器学习技术
③ 21世纪初的多层神经网络,降低机器学习者的准入门槛
(这里看不懂没关系,可跳过)
3、人工智能应用
人工智能的应用可谓是涉及了:交通、金融、医疗、政府、军事等等几大行业,分别举个例子:
交通:自动驾驶,比如无人机、无人车
金融:供需规则的智能投顾服务和发欺诈决策引擎
医疗:智能医疗会有几个方面,机器人、智能诊断、医学影像等
政府:大数据下的智慧城市
军事:军用无人机
4、推荐学习
人工智能知识:维基百科,有时间可以好好读读上面的文献。
https://en.wikipedia.org/wiki/Artificial_intelligence
书籍:《人工智能》国家人工智能战略行动抓手
三、大数据产品的能力模型
正如前文所描述的,目的能把日常的工作做成。笔者认为,大数据产品的能力模型应该包括两方面:软实力和硬技能。所谓,软硬兼施才能拿下。
1、软实力
要做好大数据的工作,建议你向两种人学习,研究员:具备研究思维,指挥家:具备项目管理能力
1.1 做一个研究员
这里强调的是一种思维模式,有一种研究者的心态。内容思考框架如脑图所示,为了让大家能够理解,我举个例子。
① 案例:老板把你叫到办公室说:小李子,你看看,我们app首页的内容都没什么好看的,老是放这些东西,你想个办法解决下。
② 笔者的分析思路会是如下
a 抽取问题主干就是:老板不想点首页内容。
b 问题的本质:人与内容连接问题
c 生产链:内容生产者、平台、内容消费者。
d 所以用大数据解决:建立人和内容的有效连接。从内容生产者、平台及内容消费者,都可以入手。
e 确定核心观察指标为:浏览点击率,CTR。
f 确定行动优先级:根据当下产品阶段、运营人力情况,内容端可以做内容爬取、归集、建模、平台端可以做信息流类的个性化推荐。
1.2 做一个指挥家
为啥会强调这个项目管理的能力,主要一点是,大数据产品涉及的系统会非常之多,比如:业务系统、数据平台、模型层、服务分发层等,作为应用的业务应用端,一方面对各系统都应该有所了解,另外一方面推动事情落地,还得要具备较强的项目管理能力。
项目管理的知识:推荐学习《PMBOK指南》丛书,有专门的PMP证书认证考试的。虽说不是给目前敏捷开发量身定做的。但也很有用处。重点关注3各方面:时间管理、干系人管理和风险管理。我在这里就不展开了,有空可以专题写写。
2、硬技能
不仅软实力要强,硬技能也要杠杠的。笔者认为,在做大数据产品的你应该掌握以下3个硬技能:数学知识、大数据系统知识及大数据算法。
2.1 数学知识
在数据知识积累方面,建议学习:统计学和线性代数,以下我分别讲讲为啥要学以及学哪些?
2.1.1 统计学
① 定义:是收集、分析、表达和解释数据的一门科学
② 为什么要懂
因为人工智能是要从海量数据挖掘,分类、预测的,以便产生价值的。这个不懂点,做起来会比较吃力喔
③ 划重点
清楚数据产生价值各环节知识点,数据样本怎么采集,怎么清洗、采取什么样的分析方法、怎么可视化、怎么验证等等,都需要懂一些
2.1.2 线性代数
① 定义:研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组
② 为什么要懂
因为很多的模型模型都会将特征向量化,多维、等等,不懂点在看算法的时候,像是在看天书。
③ 划重点
先看看大学数学里面的线性代数吧,虽说笔者也觉得比较难。
2.1.3 推荐学习
①《统计学》第6版,中国人民大学出版社
② 大学线性代数教材
2.2 大数据系统
有了一定的数学知识,我们再来看看大数据的系统架构有哪些知识点。主要分两部分:系统架构和数据库知识
2.2.1 系统架构
大数据系统框架,大都分为:底层数据、机器学习(算法层)、模型层、服务层、应用层。
① 底层数据:大数据平台,负责将所有业务系统数据及网上第三方数据采集,并对数据进行清洗、结构化并分类存储,这一层尤为重要,数据是根基,是生命之本,所以大厂牛逼就在这里。
② 机器学习(算法层):这一层算法工程师会在上面输出很多算法,有离线的和在线的。后面将讲到常见的算法及其局限性
③ 模型层:各类数据将根据业务目标建立特征服务、用户画像、商品画像,这里是需要算法和工程支撑的。
④ 服务层:负责根据算法、业务规则进行召回,各算法单元进行融合重排序的过程,有推荐引擎、调度引擎
⑤ 应用层:业务系统的后端及前端系统,比如大家平时用的app
2.2.2 数据库知识
知道了整体的系统架构,还要多了解下大数据下的相关数据库知识,不然跟开发都接不上话。
① 数据存储方面:
a 大数据存储方式:分布式系统、NoSQL数据库、云数据库,大家有兴趣去网上看看
b 了解公司的数据仓库:有哪些类型的数据,用户行为数据、交易数据等
c 数据处理引擎:(摘自百度百科)
Flink:Apache软件基金会开发的开源流处理框架,分布式流数据流引擎
Kafka:一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据
Hadoop:分布式系统基础架构,HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算
② 数据加工:
Spark:专为大规模数据处理而设计的快速通用的计算引擎
Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能
2.2.3 推荐学习
书籍《美团机器学习实践》、《机器学习》周志华、《推荐系统实战》
2.3 算法应用及局限性
为方便学习,贴脑图如下:
2.3 人工智能延伸学习
如果真的要学深入,建议你研究多一些,叫思维学科,目前与社会科学、自然科学并行,成为3大学科之一,见脑图如下
四、推荐内容合集
上面讲解了比较的内容,都有一些推荐,在这里给大家整理如下,方面大家行动起来。
bingo!终于写完了,对我自己来说,通过整理、分享,方向性已经很明确了,也知道往哪些方面学习。不知道你看了之后是什么感受?欢迎来找我探讨喔。
tips:公众号回复:人工智能,给你整个思维脑图,希望对你有帮助。
历史文章
网友评论