内积空间与Hilbert空间

作者: TonnyYan | 来源:发表于2019-11-10 16:25 被阅读0次

内积空间与Hilbert空间
van der Vaart渐进统计之半参：2. Banach和H
Hilbert空间
绪论
量子通信基础知识简介（二）
矩阵基础8-二次型
SVM kernel（待更新
数值分析汇总——数学竞赛
范数
学习笔记《Space-Filling Curves》

内积空间是一种特殊的赋范空间，从泛函分析发展的历史上看，人们首先注意到的是内积空间而不是赋范空间。

内积空间特别是 $Hilbert$ 空间（完备的内积空间）是对 $N$ 维欧氏空间最自然的“推广”，推广到无穷维空间（存在收敛性问题）。他们具有与欧氏空间十分相近的性质。

$Hilbert$ 空间迄今为止仍然是应用最广泛的一类空间。

在内积空间和 $Hilbert$ 空间中使用的“几何”概念和术语，与欧几里得几何中的语言相似，它是由E.Schimidt在1908年引入的。

内积空间的基本性质

内积空间的定义

在 $\mathbb R^2$ 中可以定义距离、范数、内积这些概念，设 $a=(a_1,a_2), b = (b_1,b_2) \in \mathbb R^2$ ，其内积定义为：
$(a,b) = a_1b_1 + a_2b_2$

于是我们有：

$\left\| a \right\| = \sqrt {( {a,a} )} = \sqrt {a_1^2 + a_2^2}$

$\cos \left( {a,b} \right) = \frac{{\left( {a,b} \right)}}{{\left\| a \right\|\left\| b \right\|}}$

$a \bot b \Leftrightarrow \left( {a,b} \right) = 0$

定义1： $H$ 是数域 $\mathbb K$ 上的线性空间，如果对于任意 $x,y \in H$ ，有 $\mathbb K$ 中的一个数 $(x,y)$ 与它们对应，使得对任意的 $x,y \in H， \alpha \in \mathbb K$ ，满足：

$(x,x) \geqslant 0; (x,x) = 0$ 当且仅当 $x=0$ （正定性）；
$(x,y) = \overline {\left( {y,x} \right)}$ （共轭对称性）；
$(\alpha x ,y)= \alpha(x,y)$ ；
$(x+y,z) = (x,z) + (y,z)$ 。

则称 $(\cdot, \cdot)$ 是 $H$ 上的一个内积，定义了内积的线性空间 $H$ 称为内积空间。

注1： $(x,y)$ 是一个二元函数，对于每一个固定的 $y \in H, (x,y)$ 是 $H$ 上的一个线性函数（线性泛函）。（因为满足3. 4. 两条）

由内积生成的范数

在内积空间中，希望定义元素的范数 $\left\| x \right\|$ ，且
$\left\| x \right\| = \sqrt{(x,x)}$

定理4：（Schwarz不等式）
设 $H$ 是内积空间，对于 $\forall x,y \in H$ 有
$\left\| (x,y) \right\|^2 \leqslant (x,x)(y,y)$

定理6：每个内积空间 $H$ 按范数 $\left\| x \right\| = \sqrt{(x,x)}$ 成为一个赋范空间。

注：内积空间中定义了范数，由范数又可以定义距离，这样就有了收敛性等距离空间中所具有的性质。

由 $Schawarz$ 不等式我们还可以得到：

定理7：设 $H$ 是内积空间，则内积 $(x,y)$ 是关于 $x,y$ 的连续函数，即当 $x_n \to x, y_n \to y$ 时（ $x_n , y_n$ 是点列）
$(x_n, y_n) \to (x,y) \;\;\;(n \to \infty)$

内积和由其生成范数之间的关系

平行四边形法则：平行四边形对角线平方和等于其四条边平方和
$\left\| x+y \right\|^2 + \left\| x-y \right\|^2 = 2(\left\| x \right\|^2 + \left\| y \right\|^2)$

特别地，在有了正交性的概念以后，平行四边形法则也成为了勾股定理。

注：由内积可定义一个范数 $\Rightarrow$ 内积空间必定是一个赋范空间。再由范数诱导出的距离 $\Rightarrow$ 又可以成为一个距离空间。

极化恒等式

这是内积空间的特征性质。

完备的内积空间

定义12：完备的内积空间称为 $Hilbert$ 空间

内积空间是否完备是指由内积产生的赋范空间是否完备，即距离空间中的 $Cauchy$ 列是否都收敛。

定理13：一个完备空间的闭子空间也是完备的。

注：空间是否完备是由全体 $Cauchy$ 列是否都收敛决定的。由距离空间完备化定理，任何一个内积空间 $X$ 都可以完备化（因为内积空间也是一个距离空间），即：不完备的内积空间 $X$ ，可以完备成一个 $Hilbert$ 空间 $H$ ， $X$ 等距同构于 $H$ 中的一个稠子集。

正交与正交分解

正交的定义

定义1：设 $X$ 是内积空间， $x,y \in X$ ，若 $(x,y)=0$ ，则称 $x$ 与 $y$ 正交，记为 $x \bot y$ 。

元素正交于集合：
定义3：设 $X$ 是内积空间， $M \subset X, x \in X$ ，如果对任意的 $y \in M$ ，有 $(x,y) = 0$ ，则称 $x$ 正交与 $M$ ，记为 $x \bot M$ 。

集合与集合正交：
定义4： 设 $X$ 是内积空间， $M$ 和 $N$ 是 $X$ 中的两个子集，如果对于任意的 $x \in M, y \in N$ ，有 $(x,y) = 0$ ，则称 $M$ 正交于 $N$ ，记为 $M \bot N$ 。

正交补集

定义5：设 $M$ 是内积空间 $X$ 的子集，则 $X$ 中所有与 $M$ 正交的元素组成的集合称为 $M$ 的正交补，记为 $M^\bot$ 。

$M^\bot = \left\{ {y \in X | (x,y)= 0, \forall x \in M} \right\}$

定理7：设 $X$ 是内积空间， $M$ 是 $X$ 的任意子集，则 $M^\bot$ 是 $X$ 中的闭子空间。

注： $M$ 是 $X$ 的子集， $M$ 不一定是子空间，但是 $M^\bot$ 是 $X$ 的闭子空间。
子空间指的是集合内元素的线性组合仍属于该集合则称为是子空间。闭指的是对极限运算是封闭的，取极限后仍在空间里面。

定理8：设 $M$ 是内积空间 $X$ 的一个线性子空间，则 $x \in M^\bot$ 当且仅当对 $\forall y \in M$ ，有 $\| x-y\| \geqslant \| x \|$ 。

最佳逼近

在前一章节中我们定义了一点 $x$ 到一个集合 $A$ 的距离 $d(x,A)$ ：
$d(x,A) = \inf \left\{ {d(x,y) | y \in A} \right\}$

如果存在点 $x_0 \in A$ ，使得：
$\| x- x_0 \| =d(x,A)$

则称 $x_0$ 是 $x$ 在集合 $A$ 中的最佳逼近点。即 $x_0$ 是集合中与 $x$ “最接近的点”。
下确界就是距离都大于等于这个值，即距离能取到的最小值。

在 $Hilbert$ 空间，最佳逼近的问题相对比较简单。

在实际问题中，集合 $A$ 一般是一个需要搜索的空间（ $A$ 也可能是个全空间），我们要在这个空间中找到一个点 $x_0$ （空间 $A$ 中包含无数多个点）使得 $x_0$ 与我们给定的真实值之间的距离最短。

首先引进严格凸的概念：
定义9：一个赋范空间 $X$ 称为严格凸的，如果对于任意的 $x,y \in X , x \ne y$ ，并且 $\| x \| =\| y\| =1$ （即单位向量），都有

$\| \alpha x + \beta y \| < 1\;\;\; (\forall \alpha , \beta >0, \alpha + \beta=1)$

注： $\alpha x + \beta y$ 为任意凸组合。

定理10：内积空间是严格凸的赋范空间。（其他的赋范空间可能不是严格凸的）

对于严格凸的 $Hilbert$ 空间，我们有
定理11：设 $M$ 是 $Hilbert$ 空间 $H$ 中的非空闭凸集，则对于任意的 $x \in H$ ，存在唯一的最佳逼近点 $x_0 \in M$ ，使得
$\| x- x_0 \| =d(x,M) = \inf \left\{ { \| x - y\| | y \in M} \right\}$

注：闭的保证了存在性，凸集保证了唯一性。

$Hilbert$ 空间的正交分解

定理12（正交分解定理）：设H是 $Hilbert$ 空间， $M$ 是 $H$ 中的闭子空间，则对于任意的 $x \in H$ ，存在唯一的 $x_0 \in M$ 以及 $y \in M^\bot$ ，使得
$x = x_0 + y$

并且
$\| x \|^2 =\| x_0 \|^2 +\| y \|^2$

注1： $M$ 是 $H$ 的真闭线性子空间，

$\forall x \in H$ ，存在唯一的 $x_0 \in M$ 使得 $x = x_0 + y$ ，这里 $x_0 \in M，y \in M^\bot$ .
$x_0$ 是 $x$ 在 $M$ 上的投影；
$x_0$ 是 $x$ 在 $M$ 中最佳逼近点， $(x-x_0) \bot M$ . $H = M \oplus M^\bot$ ，其中 $\oplus$ 表示两个子空间的正交直接和。

最佳逼近，正交分解

正交系和正交投影

在 $n$ 维欧氏空间，选定 $n$ 个相互正交的向量 $\left\{ { e_1, e_2, \cdots , e_n } \right\}$ ，则形成 $n$ 维空间中的一组正交基，即在空间中建立了一组正交坐标系。

空间中任意一个元素都可以由这组坐标的线性组合表示：
$x = \alpha_1 e_1 +\alpha_2 e_2 + \cdots + \alpha_n e_n$

其中， $\alpha_i = (x, e_i)$ 是 $x$ 在 $e_i$ 上的投影。并且向量的长度：
$\left\| x \right\| = {\left( {\sum\limits_{i = 1}^n {{{\left| {\left( {x,{e_i}} \right)} \right|}^2}} } \right)^{\frac{1}{2}}}$

内积空间中的正交系

先给出正交系和标准正交系的概念：
定义1：设 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是内积空间 $X$ 中的非零元素组成的集合。如果当 $\alpha \ne \beta$ 时， $(x_\alpha , x_\beta)=0$ ，则称 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是 $X$ 中的一个正交系。若 $\left\|{x_\alpha } \right\| = 1, \forall \alpha \in I,$ 称 ${\left\{ {{x_\alpha }} \right\}}$ 是一个标准正交系。

正交投影

定理5：设 $\left\{ {{e_k}} \right\}_{k = 1}^n$ 是内积空间 $X$ 中的标准正交系， $x \in X, a_1, \cdots,a_n$ 是 $n$ 个数，当且仅当 $a_k = (x, e_k) (k =1,2, \cdots , n)$ 时，
$\| {x - \sum_{k=1}^n{a_ke_k}}\|$

取得最小值。

注1： ${x - \sum_{k=1}^n{{(x, e_k)}e_k}}$ 和 $\left\{ { e_1, e_2, \cdots , e_n } \right\}$ 张成的子空间 $M$ 正交。

注2：称 ${x_0 =\sum_{k=1}^n{{(x, e_k)}e_k}}$ 为 $x$ 在 $M$ 上的投影， $x$ 到 $M$ 的距离为 $\| x - x_0 \|$ 。

Fourier 级数（分解）

定义8：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交系，对于 $x \in X$ ，我们称
${\sum_{n=1}^\infty{{(x, e_n)}e_n}}$

为 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的Fourier级数， $(x, e_n)$ 为Fourier系数，即 $x$ 在 $\{ {e_n} \}$ 上的正交投影。

Bessel 不等式和 Fourier 级数的收敛性

一般来说，内积空间中的正交系 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 可能是不可数集，下面仅讨论由可数（可列）多个元素组成的正交系。

定理9（Bessel 不等式）：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交列，则对于任意的 $x \in X$ ，有
$\sum\limits_{k = 1}^\infty {{{\left| {\left( {x,{e_i}} \right)} \right|}^2} \leqslant } {\left\| x \right\|^2}$

注：与标准正交列相对应的Fourier系数（坐标）是平方可和的，其和小于或等于 ${\left\| x \right\|^2}$ 。

定理10：设 $\left\{ {{e_n}} \right\}_{n = 1}^\infty$ 是内积空间 $X$ 中的标准正交列，则对于任意的 $x \in X$ ，有
$(x, e_n) \to 0 (n \to \infty)$

由正项级数收敛的必要条件可知。

正交基和正交列的完备性

正交基

定义3：设 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 是 $X$ 中的正交系，如果它张成的子空间的闭包是全空间 $X$ ，则将 ${\left\{ {{x_\alpha }} \right\}_{\alpha \in I}}$ 称为是 $X$ 的正交基。

正交列的完备性

定义6：设 $X$ 是内积空间， $\left\{ {{e_n}} \right\}$ 是 $X$ 中的标准正交列， $x \in X$ 。若
${\sum\limits_{i = 1}^\infty {{{\left| {\left( {x,{e_i}} \right)} \right|}^2}} = {\left\| x \right\|^2}}$

称 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Parseval 等式成立。
如果对于任意的 $x \in H$ ， Parseval 等式成立，则称 $\left\{ {{e_n}} \right\}$ 是完备的。

注1：在二维欧氏空间中，Parseval 等式就是勾股定理。

注2：在 $Hilbert$ 空间中， $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Fourier 级数收敛到 $x$ ，当且仅当 $x$ 关于 $\left\{ {{e_n}} \right\}$ 的 Parseval 等式成立。

可分的Hilbert空间

线性无关组的正交化算法

利用 Gram-Schmidt 正规正交化算法找到一组标准正交列。

正规正交化算法

可分的 $Hilbert$ 空间与 $l^2$ 等距同构

空间可分指的是空间中存在可数稠密子集。

定理1：一个无穷维的 $Hilbert$ 空间一定包含一个标准正交列。

当内积空间完备时，我们有：
定理3： $H$ 是一个 $Hilbert$ 空间，则 $H$ 可分，当且仅当 $H$ 中具有至多可数（可列）的标准正交基 $S$ 。
如果 $S$ 中元素个数 $N < \infty$ ，则 $H$ 等距同构于 $\mathbb{K}^N$ ， $\mathbb{K}$ 是线性空间的数域；
如果 $N = \infty$ ，则 $H$ 等距同构于 $l^2$ 空间。

注：任何一个无穷维可分的 $Hilbert$ 空间都可以表示为“坐标形式”的 $l^2$ 空间，即可分的内积空间中的每个元素都与一组由可数（可列）无穷有序数组组成的坐标一一对应。

内积空间与Hilbert空间
内积空间是一种特殊的赋范空间，从泛函分析发展的历史上看，人们首先注意到的是内积空间而不是赋范空间。内积空间特别是...
van der Vaart渐进统计之半参：2. Banach和H
Hilbert空间给定一个概率空间,我们用定义可测函数，。这就是一个Hilbert空间，一个完备的内积空间，关于...
Hilbert空间
希尔伯特空间作者：赵亮链接：https://www.zhihu.com/question/19967778/a...
绪论
有限维空间先从原来的四维空间看问题：坐标系内积（空间向量与坐标轴（单位向量）的内积表示在该坐标轴上的投影） ...
量子通信基础知识简介（二）
1. 希尔伯特(Hilbert)空间 1.1 矢量空间：称一组元素{u,v,w...}的集合L为矢量空间，若L在...
矩阵基础8-二次型
一. 内积空间 1.1 向量内积向量的乘积(这个有点物理的感觉): 向量内积: 例子: 内积的性质: 1.2 正...
SVM kernel（待更新
低维空间通过内积映射到高维空间，方便实现线性可分。
数值分析汇总——数学竞赛
第五届：给定多项式序列求证：(1)当时，(2)设是区间上连续函数构成的内积空间，其中内积定义为则是该内积空间的正交...
范数
矢量与自身内积的平方根，推广了三维空间长度的概念
学习笔记《Space-Filling Curves》
有一些曲线可以对空间进行填充，比如 Hilbert's Curve, Dragon Curve, Sierpińs...