十五、三个公式搭建最简单的AI框架

什么是AI？AI的本质就是从大数据中学习。

举个例题

我们可以用excel表进行散点拟合，也可以使用之前的梯度下降法来计算。

人工智能就是根据输入的数据建立一个效果最好的模型 人工智能建立模型的步骤 本题做了一个假设，那就是父子之间身高关系是线性的，影响的参数是k和b，那么这道题的omega就是k和b组成的向量。当然在别的模型里，它也可以是个标量 人工智能的目标 这里只有w是未知的，我们就是要求L(w)的最小值，这就是个求极值的问题 构建AI模型的三步 三个步骤的调整

不管每一步采用什么方法，这三个步骤是不会变的。

现在让我们从AI的角度重新回顾一下线性回归模型：

截屏2023-11-21 12.40.02.png 截屏2023-11-21 12.41.17.png 截屏2023-11-21 12.42.47.png 第三部这里我们使用求导法

在此，我们可以理解为，线性回归就是一种最简单的人工智能模型。

小结 作业

十六、逻辑回归，通过计算机做出二值化决策

逻辑回归模型是AI中最基础的模型

逻辑回归模型常用于用户的信贷模型、几率识别等等。

逻辑回归是一种分类模型，可以解决分类问题
预测胎儿性别，预测足球比赛结果等问题都是分类问题
根据归属类别的数量，分类问题可以分为二分类问题和多分类问题

多分类问题可以转化为多个二分类问题，因此二分类问题是基础。

逻辑回归的建模流程
第一步，我们使用的输出关系函数为sigmoid函数
使用sigmoid函数通过x得出预测值y的流程图
sigmoid函数简介
sigmoid函数的一阶导数
第二步，写出逻辑回归的损失函数
截屏2023-11-27 12.40.50.png
将上面两个式子用一个式子表示
截屏2023-11-27 20.22.56.png
第三步，估计出参数的值

所以以上第二、三步的本质就是对损失函数求解极大值。

我们使用梯度下降法来求极值，先计算出模型函数关于W的导数
再来计算损失函数的导数
然后使用梯度下降法来计算。
值得注意的是，这个函数式在使用传统的梯度下降法来计算时，会产生大量的求和计算，非常消耗资源。
为了解决这个问题，我们改进为随机梯度下降法。
使用随机梯度下降法
接下来我们实现代码。
现有以下两个数据集：
第一个数据集
第二个数据集
代码如下：
截屏2023-11-27 21.43.03.png 截屏2023-11-27 21.49.50.png 对数据集1的第四个特征预测结果
对数据集2的第四个特征的预测结果

我们发现对第2个数据集的预测结果马马虎虎，首先是第一个样本的第四特征预测错误，其次计算出来的预测值都在0.5附近，不够明显。为什么不通同的两个数据集会出现如此差异呢？
原因就是这个模型是个线性模型。

如图所示的直线，无论怎么平移，都无法将黄色和蓝色完全分割开来

线性回归和逻辑回归有什么区别呢？

从名字上比较

线性归回是一个回归模型，它是要用一条线尽可能地将所有样本点串起来。
而逻辑回归虽然有回归两个字，但它不是回归模型，而是分类模型，是要用一条线尽可能的把几个样本点给分开。

从表达式上比较
从数学函数式的机理来看
总结：逻辑回归里的三个重要的表达式
课后作业

十七、决策树模型——如何对NP难问题进行启发式求解

决策树模型可以做什么
决策树模型的结构和特点
使用决策树预测的简单例子
什么是NP难问题
NP难问题举例
解决NP难问题的思路 如何解决NP难问题

ID3和C4.5都是使用启发式算法。

我们以ID3算法为例探讨一下决策树如何建模
ID3决策树建模步骤
ID3决策树的两个递归终止条件
例题1:根据图中数据集建立ID3决策树 第一步 第二步计算第一个变量的信息增益 第二步计算第二、三个变量的信息增益 第三步变量分裂 截屏2023-12-11 20.28.33.png 截屏2023-12-11 20.29.12.png 最终采用如图所示的决策树 截屏2023-12-11 20.32.30.png 例题2:根据图中数据集建立ID3决策树 第一步，计算信息熵 第二步，计算三个特征的信息增益 第三步，本题只好随机选择特征进行建模 截屏2023-12-11 20.42.08.png 截屏2023-12-11 20.42.46.png

对于像ID3这种成型的算法而言，已经有了很多被封装好的工具包，比如sklearn，可以直接调用。

ID3这类决策树模型建模代码的伪代码

这类代码的结构一定是递归结构。

决策树模型的优势
决策树模型的不足 决策树和深度学习相比，是一种浅层模型 课后作业