2022年四月第37本书
阅读速度2000字/分钟
1、本书主题：深度学习的数学算法入门
2、速读建议：虽然书里写的浅显易懂，也需要一些数学功底才能阅读，遇到不懂的公式定理，网上查一下更好。
用Excel将算法可视化，很有趣的思路。
◆ 本书的使用说明
>> ● 本书的目的在于提供理解神经网络所需的数学基础知识。
>> ● 神经网络可分为有监督学习和无监督学习两类。本书主要讲解有监督学习。
◆ 1-2 神经元工作的数学表示
(i) 来自其他多个神经元的信号之和成为神经元的输入。
(ii) 如果这个信号之和超过神经元固有的阈值，则点火。
(iii) 神经元的输出信号可以用数字信号0和1来表示。即使有多个输出端，其值也是同一个。
◆ 1-5 用恶魔来讲解神经网络的结构
>> 隐藏层肩负着特征提取（feature extraction）的重要职责。
◆ 1-7 网络自学习的神经网络
>> 神经网络中比较重要的一点就是利用网络自学习算法来确定权重大小。
>> 奇点（singularity）被用来表示人工智能超过人类智能的时间点。据预测是2045年，也有不少人预测这个时间点会更早到来。
◆ 2-4 有助于理解神经网络的向量基础
>> ①当两个向量方向相反时，内积取得最小值。②当两个向量不平行时，内积取平行时的中间值。③当两个向量方向相同时，内积取得最大值。
>> 柯西-施瓦茨不等式：-|a||b| ≤ a·b≤ |a||b|
◆ 2-5 有助于理解神经网络的矩阵基础
>> 对于两个矩阵A、B，将A的第i行看作行向量，B的第j列看作列向量，将它们的内积作为第i行第j列元素，由此而产生的矩阵就是矩阵A、B的乘积AB。
>> 对于相同形状的矩阵A、B，将相同位置的元素相乘，由此产生的矩阵称为矩阵A、B的Hadamard乘积，用A⊙B表示。
◆ 2-6 神经网络的导数基础
>> 和的导数为导数的和，常数倍的导数为导数的常数倍。
◆ 3-1 神经网络的参数和变量
>> 像权重和偏置这种确定数学模型的常数称为模型的参数。
◆ 3-4 神经网络的代价函数
>> 在数学中，用模型参数表示的总体误差的函数称为代价函数，此外也可以称为损失函数、目的函数、误差函数等。
◆ 4-1 梯度下降法的回顾
>> 梯度分量是一个一个学习实例的简单的和。
◆ 5-3 卷积神经网络的变量关系式
>> 卷积神经网络中设置有用于压缩卷积层信息的池化层。
>> 数学上的目标是实现参数的最优化。
网友评论