从两点分布到分类问题

作者: zidea | 来源:发表于2019-11-14 06:16 被阅读0次

从两点分布到分类问题
GENERALIZABLE FEATURES FROM UNSU
从垃圾分类到副业分类。
softmax原理及推导
2.1.1.2支持向量机（分类）
从问题到问题
tf.random.categorical()用法解析
从游戏到用户分类
长尾分布分类问题解决方法
第1章分布式架构

机器学习基础

两点分布(伯努利分布)

设随机变量 X 服从

X	1	0
P	p	1-p

期望
$E(X) = 1 \cdot p + 0 \cdot q = p$
方差
$D(X) = E(X^2) - [E(X)]^2$
$= 1^2 \cdot p + 0^2 \cdot (1 - p) - p^2 = p(1-p) = pq$

二项分布

可以看做若干个两点分布的取和，设随机变量 X 服从参数为 n,p 二项分布, 假设 $X_i$ 为第 i 次试验中事件 A 发生的次数， $i=1,2,\cdots , n$
$X = \sum_{i=1}^n X_i$
显然， $X_i$ 相互独立均服从参数为 p 的 0-1 分布所以
$E(X) = \sum_{i=1}^n E(X_i) = np$
$D(X) = \sum_{i=1}^n D(X_i)= np(1-p)$
在做分类问题，将样本为样本有

我们假设有样本,有些样本是正例有些样本是负例。取 1 概率 p 取 0 概率为 0
$X = \begin{cases} p & 1 \\ 1 - p & 0 \end{cases}$

$X \{ (x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m) \}$
这里有 m 个样本，其中 $y \in \{0,1\}$ 也就是样本类别为，其实这就是 m 次试样的两点分布。拿出其中一个 $x_i$

$= p^1 \cdot (1-p)^{(1 -0)} \tag{1}$
这是两个分布统一
$= p^{y_i} \cdot (1-p)^{(1 -y_i)} \tag{2}$
如果假设 $x_i$ 样本具有 n 维 $(x_{i1},x_{i2},\dots,x_{in})$

$x^{i}$	$\theta_1$	$\theta_1$	$\cdots$	$\theta_n$
$x^{(1)}$	$x_1^1$	$x_2^1$	$\cdots$	$x_n^1$
$x^{(2)}$	$x_1^2$	$x_2^2$	$\cdots$	$x_n^2$
$x^{(n)}$	$x_1^n$	$x_2^n$	$\cdots$	$x_n^n$

$\vec{\theta} \cdot \vec{x_i}$
然后将上面式子导入 $\frac{1}{1+ e^{-x}}$ 这个公式大家再熟悉不过我们在做逻辑回归时候看到sigmoid 公式。
$p = \frac{1}{1+ e^{-(\vec{\theta} \cdot \vec{x_i})}} \tag{3}$
把这个概率带入上面(2)式里我们就得到关于 $\theta$ 的目标函数，当这个目标函数最大时候哪个 $\theta$ 就是我们要找参数，也就是给定目标函数一种手段。

从两点分布到分类问题
两点分布(伯努利分布) 设随机变量 X 服从 X10Pp1-p 期望方差二项分布可以看做若干个两点分布的取和，...
GENERALIZABLE FEATURES FROM UNSU
问题：无监督学习到的特征更好的泛化到监督训练分布之外的样例上。任务：通过视频预测，将预测的帧作为分类器的输入，从...
从垃圾分类到副业分类。
副业分为三类，分别为： 1.与主业相关的副业、 2.主业不相关的跨界副业 3.投资理财为主的副业。第一种呢...
softmax原理及推导
序本次记录内容主要为softmax的推导，部分内容有参考各网友文章多分类问题多分类问题符合多项式分布，sof...
2.1.1.2支持向量机（分类）
模型介绍：如图所示的数据分类问题，我们更有无数种线性分类边界可供选择。支持向量机分类器，便是根据训练样本的分布，搜...
从问题到问题
从上一次展示课当中，知道之前自己理解的“以生为本”是一种自欺欺人。在进行教学设计时我的以生为本，是从自己想...
tf.random.categorical()用法解析
从一个分类分布中抽取样本(索引对应的概率服从多项分布)，输出分类的index
从游戏到用户分类
困境最近在做Antispam的过程中，遇到了这样一个困境：当策略调整的太严格的时候，就容易伤害到很多正常用户，当...
长尾分布分类问题解决方法
Long-Tailed Classification系列之四：1. 长尾分布下分类问题简介与基本方法[https...
第1章分布式架构
阅读笔记《从Paxos到ZooKeeper分布式一致性原理与实践》倪超分布式架构目录：从集中式到分布式从...