一、机器学习初步认识
1、什么是机器学习？
机器学习就是利用计算机从历史数据中找出规律，并把这些规律用到对未来不确定场景的决策
比如预测某公司未来一个季度的销量，这就需要根据以往季度的销量情况进行分析找出规律，然后对下一个季度的销量进行预测。
机器学习的主体是机器，而不是人，与之对应的一个事——也是从历史数据中寻找规律，是数据分析，这个主体是人。
从数据中寻找规律，其实就是机器学习一系列的算法，不同的算法找出来的规律的形式是不一样的，大部分情况下，就是找出一个数学函数或者是数学公式。
2、从数据中寻找规律
统计学从数据中找规律的过程：由于受限于计算能力的限制，主要靠手算或者低端计算机，一般采用抽样计算，然后描述统计，最后根据结论回去作假设检验，统计推断。
由于计算机性能的极大提升，现在不用再作抽样统计，可以作全量分析。
3、机器学习为什么突然火起来
- 从历史数据中找出规律，把这些规律用到对未来自动作出决定
- 用数据代替专家
- 经济驱动，数据变现，也就是大数据的迅猛发展
4、业务系统发展的历史
- 早期：基于专家经验
- 基于统计——分维度统计
- 机器学习——在线学习（比如电商网站的针对用户实时的推荐）
二、机器学习的应用
1、关联规则
- 购物车分析——关联规则
其实这是一个典型的数据挖掘算法，生活中常见的如啤酒和纸尿布的案例
2、聚类
- 用户细分和精准营销
如用相关聚类算法，对移动消费者用户消费习惯进行分类，然后有针对性的作出一些资费套餐，如全球通，神州行，动感地带等
3、朴素贝叶斯和决策树
- 朴素贝叶斯：垃圾邮件
- 决策树：信用卡欺诈
4、ctr预估
- 互联网广告：预测用户最有可能点击的页面，来进行排列页面推荐顺序
- 推荐系统：电商网站中常用推荐商品
5、自然语言处理和图形识别
- 自然语言处理(NLP)
情感分析，实体识别等 - 图像识别
深度学习
更多应用：
- 语音识别
- 个性化医疗
- 人脸识别
- 自动驾驶
- 智慧机器人
- 私人虚拟助理
- 手势控制
- 视频内容自动识别
- 机器实时翻译
三、数据分析和机器学习
1、区别
- 交易数据 VS 行为数据
一般数据分析处理的是交易数据，比如电商平台数据，银行存款数据等
而机器学习处理的是行为数据，比如用户的搜索历史，浏览历史，评论等
-
少量数据 VS 海量数据
-
采样分析 VS 海量分析
-
报告过去的事 VS 预测未来的事
-
技术手段不同
数据分析的数据集量相对于机器学习要小
分析方法上，数据分析主要是用户驱动，交互式分析，机器学习是数据驱动，自动进行知识发展
四、机器学习常用算法
1、算法分类(1)
- 有监督学习
包括分类算法(垃圾邮件区分)、回归算法
- 无监督学习
包括聚类算法
- 半监督学习
强化学习
2、算法分类(2)
根据具体的问题分类
- 分类与回归
- 聚类
- 标注
3、算法分类(3)
- 生成模型
- 判别模型
五、机器学习如何解决问题
1、确定目标
- 业务需求
- 解决数据问题
- 提取特征工程
2、训练模型
- 定义模型
- 定义损失函数(重点)
- 优化算法(重点)
3、模型评估
- 交叉验证
- 效果评估
网友评论