张量（Tensor）

张量是一个数据容器，是矩阵向任意维度的推广。

• 张量的维度（dimension）也可以叫作阶或轴（axis）。
• 张量的形状是一个整数元组，表示张量沿每个轴的维度大小（元素个数）。

标量 scalar（0D 张量）

• 仅包含一个数字的张量叫作标量，也叫零维张量、0D 张量、0阶张量。

向量 vector（1D 张量）

• 数组，也叫1维张量、1D 张量、1阶张量。
  注意，向量和张量的维度不是一个概念。向量的维度可以表示沿某个轴上元素的个数，而张量的维度表示轴的数量。如 [1,2,4,8] 是一个 4维向量，或一个4维的1维张量。
• 向量的内积是同维数字相乘之和，如：
  

矩阵 matrix（2D 张量）

• 二维数组，也叫2维张量、2D 张量、2阶张量。
  矩阵的形状也称矩阵的维数，如2×2矩阵
• 矩阵加法
  同形状矩阵直接可以相加，同位置元素相加即可
• 矩阵内积
  同形状矩阵之间可以内积，其结果为同位置数字相乘之和，如：
  
• 矩阵外积（矩阵乘法）
  前者的列数需等于后者行数的矩阵可以外积，结果为前者行数×后者列数的矩阵，如：
  
  矩阵乘法符合结合率，但不符合交换律
• 单位矩阵
  主对角线上都是1，其他都是0的方阵称为单位矩阵，符合乘法交换律
• 秩与逆矩阵
  矩阵 × 逆矩阵 = 单位矩阵
  逆矩阵符合乘法交换律，且只有满秩方阵有逆矩阵（此时），不满秩的方阵称为奇异矩阵或退化矩阵（此时）
• 转置矩阵
  
  ，则

3D 张量与更高维张量

• 三维数组可以理解为数字组成的立方体。
  如一张图片即一个3阶张量，张量的长宽即图片的分辨率，张量的高度为3（灰度图为1），即图像的彩色通道数（channel）
• 将多个 3D 张量组合成一个数组，可以创建一个 4D 张量，以此类推。
  深度学习处理的一般是 0D 到 4D 的张量，但处理视频数据时可能会遇到 5D 张量。

---

常见数据类型

向量数据集（2D）

通常将每个数据点编码为一个向量（1D），则其数据批量为 2D 张量（即 向量 组成的数组）。其中第一个轴是样本轴，第二个轴是特征轴。

• 人口统计数据集，其中包括每个人的年龄、邮编和收入。每个人可以表示为包含 3 个值的向量，而整个数据集包含 100 000 个人，因此可以存储在形状为 (100000, 3) 的 2D张量中。

时间序列数据或序列数据集（3D）

当时间（或序列顺序）对于数据很重要时，应该将数据存储在带有时间轴的 3D 张量中。根据惯例，时间轴始终是第 2 个轴（索引为 1 的轴）。

• 股票价格数据集。每一分钟，我们将股票的3个值（当前价格、前一分钟的最高价格和前一分钟的最低价格）编码为一个 3D 向量。整个交易日被编码为一个形状为 (390, 3) 的 2D 张量（一个交易日有 390 分钟），而 250 天的数据则可以保存在一个形状为 (250, 390, 3) 的 3D 张量中。这里每个样本是一天的股票数据。

图像数据集（4D）

单张图像为3D（图像集则为4D），其包含三个维度：高度、宽度和颜色深度（灰度图像的彩色通道是1维，彩色图像是3维）。
图像张量的形状有两种约定：在 TensorFlow 中使用通道在后（channels-last）的约定 (samples, height, width, color_depth)，在 Theano 中使用通道在前（channels-first）的约定(samples, color_depth, height, width) 。Keras 框架同时支持这两种格式。如在 TensorFlow 中 128 张 256×256 大小的图像， 灰度图像组成的批量可以保存在一个形状为 (128, 256, 256, 1) 的张量中，而彩色图像组成的批量则可以保存在一个形状为 (128, 256, 256, 3) 的张量中。

视频数据集（5D）

每个视频可以看作一系列帧（即一个图像数据集），保存在一个形状为 (frames, height, width,color_depth) 的 4D 张量中。
而不同视频组成的批量则可以保存在一个 5D 张量中，其形状为(samples, frames, height, width, color_depth) 。

————————————————
版权声明：本文为CSDN博主「醉Dowry」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42259833/article/details/124766853

---

卷积运算（convolution）

卷指内卷/约束，两个变量互相纠缠。积是内积，两个概率密度函数或概率组成的向量的内积。
两个函数的卷积，本质上就是先将一个函数翻转，然后进行滑动叠加，是过去的所有输入的效果的累积（积分或加权求和）。期间需保持的约束。

连续形式：
离散形式：

• 离散形式举例：抛两枚6面骰，求相加为4的概率
  
  翻转滑动叠加

• 连续形式举例：0秒开始输入，求10秒后剩余的信号输入总合
  
  其中为某一时刻输入的信号，为10秒截止时的信号衰减函数

翻转滑动叠加

向量卷积

两个向量卷积，结果仍为向量，其长度为。为保证卷积结果维数同长向量，可在长向量两端补 个 。
向量卷积的数学意义可参考多项式乘法，如，可视为基底为的向量空间中，

矩阵卷积

向量（即一维卷积）的情况如上所示，多维张量以此类推，也可以进行卷积运算：

矩阵的卷积结果仍为矩阵，类似向量卷积，在横纵两个维度滑动求内积。例如要求点时，取出其周围点组成的矩阵，与另一矩阵计算内积：

• g 与 f 维度相同但下标相反

  
  g 与 f 维度相同但下标相反

• 此处可理解为g旋转了180°后进行内积计算

  
  此处可理解为g旋转了180°后进行内积计算

当计算如的边缘点时，可用0补全矩阵中不存在的等点，也可以用其他方式补全（如OpenCV中的边缘拷贝等）。

三阶张量

彩色图片即为三阶张量，可以理解为RGB三个矩阵的叠加。其卷积可以转化为进行3次独立的矩阵卷积，再将三个结果矩阵相加，合并为一个通道数为1的三阶张量。