机器学习中的矩阵

机器学习中的矩阵

作者: 水之心 | 来源:发表于2018-08-13 16:58 被阅读33次

线性代数(7) 矩阵
机器学习中的矩阵
机器学习的数学基础相关文章
机器学习中的稀疏矩阵
机器学习一些简单笔记
机器学习中的矩阵计算
机器学习中的混淆矩阵
2018-07-10 搬砖Notes
矩阵求导（一）
机器学习

预备知识

详细内容见: 机器学习的数学基础

先上数学中的几个定理与定义.

设 $X$ 是数域 $\mathcal{K}$ (实数域或复数域) 上的内积空间^[1], $x, y \in X$ , $M, N \subset X$ :

对于 $\forall x \in X$ , 通常被称为点
若内积 $(x, y) = 0$ , 则称 $x$ 与 $y$ 正交, 记作 $x \bot y$ .
若有 $\forall y \in M, x \bot y$ , 则称 $x$ 与 $M$ 正交, 记作 $x \bot M$ .
若有 $\forall x \in M, y \in N, x \bot y$ , 则称 $M$ 与 $N$ 正交, 记作 $M \bot N$ .
记 $M^{\bot} = \{ x \in X| x \bot M\}$ , 称 $M^{\bot}$ 为 $M$ 在 $X$ 中的正交补.

【投影与正交解】设 $X$ 是内积空间, $M_1, M_2$ 是 $X$ 的两个子空间, 而且 $M_1 \bot M_2$ . 若 $\forall x \in X$ , 都有唯一的分解式:
$x = x_1 + x_2, \;\; x_1 \in M_1, x_2 \in M_2$
则称 $X$ 为 $M_1$ 与 $M_2$ 的正交和, 记作 $X = M_1 \oplus M_2$ .

【投影判别准则】设 $M$ 是内积空间 $X$ 的线性子空间 ( $x \in X, x_0 \in M$ ), 则有
$x-x_0 \in M^{\bot} \Leftrightarrow ||x-x_0|| = d(x, M)$
也就是说, $x_0$ 是 $x$ 关于 $M$ 的最佳逼近.

【正交分解定理】设 $X$ 是内积空间, 若 $A$ 是 $X$ 的完备子空间, 则 $X$ 可以分解为 $X = A \oplus A^{\bot}$ .

【最佳逼近问题】设 $X$ 是内积空间, $x \in X, \{x_i\}_{i=1}^n \subset X$ 且线性无关. 对于 $\{\alpha_i\}_{i=1}^n \subset \mathcal{K}$ , 有
$||x - \displaystyle\sum_{i=1}^n \alpha_ix_i|| = \inf_{\{\beta_i\}_{i=1}^n \subset \mathcal{K}} ||x - \displaystyle\sum_{i=1}^n \beta_ix_i||$

平方逼近与最小二乘均可看作最佳逼近问题的特例.

==============================================================

下面具有说说机器学习中的矩阵.
设 $\{x_j\}_{j=1}^m, \{y_j\}_{j=1}^m$ 为内积空间 $M$ 中的点列. 记 $X = [x_1;x_2;\cdots;x_m]$ , $Y = [y_1;y_2;\cdots;y_m]$

线性模型

模型假设: 点列 $X$ 与 $Y$ 共面, 即 $Y = AX$
代码示例见: 线性回归.

换言之, 损失函数
$L = ||AX -Y||_F^2$
故而
$\arg \min_A \langle AX, AX \rangle - 2 \langle AX, Y \rangle \Leftrightarrow AXX^T = YX^T$

https://zh.wikipedia.org/zh-hans/内积空间 ↩

相关文章

线性代数(7) 矩阵
矩阵矩阵在机器学习中重要性就不再多数，在机器学习特别是深度学习中，大部分工作就是对矩阵进行变换和运算。以下内容需...
机器学习中的矩阵
预备知识详细内容见: 机器学习的数学基础先上数学中的几个定理与定义. 设是数域 (实数域或复数域) 上的...
机器学习的数学基础相关文章
矩阵机器学习的数学基础：矩阵篇
机器学习中的稀疏矩阵
什么是稀疏矩阵？大多数元素都是0的矩阵称为稀疏矩阵，否则称为稠密矩阵。规模巨大的稀疏矩阵在应用机器学习中很常见，...
机器学习一些简单笔记
机器学习中的矩阵机器学习中矩阵是一个很重要的概念，对我们理解其中变量的相关性和相似性，降维等分析具有很大的作用，...
机器学习中的矩阵计算
http://blog.sina.com.cn/s/blog_6cb263210101csq0.html
机器学习中的混淆矩阵
让混淆矩阵不再混淆混淆矩阵是用于总结分类算法性能的技术。如果每个类中的样本数量不等，或者数据集中有两个以上的类，...
2018-07-10 搬砖Notes
病态矩阵对计算的影响（机器学习 and 深度学习）
矩阵求导（一）
矩阵求导（Matrix Derivative）也称作矩阵微分（Matrix Differential），在机器学习...
机器学习
机器学习等于矩阵+优化+算法+统计

网友评论

机器学习中的数学

本文标题：机器学习中的矩阵

本文链接：https://www.haomeiwen.com/subject/ubmubftx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

机器学习中的数学

热点阅读

机器学习中的数学

关于我们|服务条款|联系我们|机器学习中的矩阵|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！