定义

监督学习和无监督学习:

无监督学习（英语：unsupervised learning）是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。无监督学习的主要运用包含：聚类分析（cluster analysis）、关系规则（association rule）、维度缩减（dimensionality reduce）。它是监督式学习和强化学习等策略之外的一种选择。

监督式学习（英语：Supervised learning），是机器学习的一种方法，可以由训练资料中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。^[1]训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

二者的区别是被学习的数据有无标签.

生成模型和判别模型

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。

在机器学习领域判别模型是一种对未知数据与已知数据之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量x ，判别模型通过构建条件概率分布P(y|x)预测y 。

与生成模型不同，判别模型不考虑x 与 y 间的联合分布。对于诸如分类和回归问题，由于不考虑联合概率分布，采用判别模型可以取得更好的效果。而生成模型在刻画复杂学习任务中的依赖关系方面则较判别模型更加灵活。大部分判别模型本身是监督学习模型，不易扩展用于非监督学习过程。实践中，需根据应用的具体特性来选取判别模型或生成模型。

二者的区别为:生成模型最大化 $p(x,y)$ ,判别模型最大化 $p(y|x)$ .