绪论|机器学习推导系列（一）

作者: 酷酷的群 | 来源:发表于2020-07-13 09:52 被阅读0次

绪论|机器学习推导系列（一）
Java并发编程绪论
python数据分析与机器学习(Numpy,Pandas,Mat
机器学习一：绪论
逻辑回归从零实现以及PyTorch实现
机器学习绪论
浅谈自然语言处理基础（上）
核方法|机器学习推导系列（八）
线性分类|机器学习推导系列（四）
线性回归|机器学习推导系列（三）

一、频率派 vs 贝叶斯派

机器学习主要解决从数据中获取其概率分布的问题，通过一些机器学习的算法可以从大量数据中找到一定的规律，从而建立模型来解决实际问题，因此机器学习中主要使用数据来求解其参数：

data: $X$
$X= \left[ \begin{matrix} x_1 & x_2 & \cdots & x_N\\ \end{matrix} \right]^T_{N \times p} = \left[ \begin{matrix} x_{11} & x_{12} & \cdots & x_{1p}\\ x_{21} & x_{22} & \cdots & x_{2p}\\ \vdots & \vdots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{Np}\\ \end{matrix} \right]_{N \times p}$
parameter: $\theta$

频率派认为参数 $\theta$ 是一个固定的常数（constant），而数据 $X$ 是随机变量，而贝叶斯派认为参数 $\theta$ 是随机变量（random variable），其服从某个概率分布 $P(\theta)$ ，这个概率分布称为先验。

二、频率派

频率派认为参数 $\theta$ 是一个固定的常数（constant），频率派常用的求解方法为极大似然估计法：

极大似然估计:
$\theta_{MLE}=\underset{\theta}{argmax}logP(X|\theta)$ ，其中 $L(\theta)=logP(X|\theta)$ 。

频率派的求解步骤为：1.建立模型；2.定义损失函数；3.最优化损失函数。

三、贝叶斯派

贝叶斯学派认为参数 $\theta$ 是一个随机变量（random variable），其拥有一个概率分布 $P(X)$ ，称为先验分布，在取样结果为 $X$ 时，其后验概率：

$\underset{posterior} {\underbrace{P(\theta |X)}}=\frac{\overset{likelihood}{\overbrace{P(X|\theta)}}\overset{prior}{\overbrace{P(\theta )}}}{P(X)}$
$其中P(X)=\int_{\theta }P(X|\theta )P(\theta )\mathrm{d}\theta$
$所以{P(\theta |X)}\propto P(X|\theta)P(\theta )$

最大后验估计MAP:

$\theta _{MAP}=\underset{\theta}{argmax}P(\theta|X)=\underset{\theta}{argmax}P(X|\theta)P(\theta )$

绪论|机器学习推导系列（一）
一、频率派 vs 贝叶斯派机器学习主要解决从数据中获取其概率分布的问题，通过一些机器学习的算法可以从大量数据中找...
Java并发编程绪论
Java并发学习系列-绪论
python数据分析与机器学习(Numpy,Pandas,Mat
机器学习怎么学？机器学习包含数学原理推导和实际应用技巧，所以需要清楚算法的推导过程和如何应用。深度学习是机器学...
机器学习一：绪论
1.1 引言：如果说计算机科学是一门研究关于算法的学问，那么机器学习可以说是一门研究关于“学习算法”的学问，...
逻辑回归从零实现以及PyTorch实现
逻辑回归原理参考链接：线性分类|机器学习推导系列（四）[https://www.jianshu.com/p/4e7...
机器学习绪论
机器学习(Machine learning) 绪论 1、什么是机器学习 Arthur Samuel认为在进行特...
浅谈自然语言处理基础（上）
本系列第三篇，承接前面的《浅谈机器学习基础》和《浅谈深度学习基础》。自然语言处理绪论什么是自然语言处理？自然...
核方法|机器学习推导系列（八）
一、线性不可分问题有时线性可分的数据夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的...
线性分类|机器学习推导系列（四）
一、从线性回归到线性分类线性回归的特性线性回归具备线性、全局性和数据未加工的特性。线性包括三个方面，其中属性...
线性回归|机器学习推导系列（三）
一、概述假设有以下数据：这些数据符合下图关系（以一维数据为例），这里的函数忽略了偏置：二、最小二乘估计接下...