<h1><a id="_1"></a>线性代数</h1>
<h2><a id="_3"></a>一、基本知识</h2>
<ol>
<li>本书中所有的向量都是列向量的形式:</li>
</ol>
<p></p>
<p>本书中所有的矩阵 都表示为:</p>
<p></p>
<p>简写为: 或者 。</p>
<ol start="2">
<li>矩阵的<code>F</code>范数:设矩阵 ,则其<code>F</code> 范数为: 。</li>
</ol>
<p>它是向量的 范数的推广。</p>
<ol start="3">
<li>矩阵的迹:设矩阵 ,则 的迹为: 。</li>
</ol>
<p>迹的性质有:</p>
<ul>
<li> 的<code>F</code> 范数等于 的迹的平方根:</li>
</ul>
<p></p>
<ul>
<li> 的迹等于 的迹:</li>
</ul>
<p></p>
<ul>
<li>交换律:假设</li>
</ul>
<p></p>
<p>,则有: 。</p>
<ul>
<li>结合律:</li>
</ul>
<p></p>
<h2><a id="_55"></a>二、向量操作</h2>
<ol>
<li>一组向量 是线性相关的:指存在一组不全为零的实数 ,使得:</li>
</ol>
<p></p>
<p>一组向量 是线性无关的,当且仅当 时,才有:</p>
<p></p>
<ol start="2">
<li>
<p>一个向量空间所包含的最大线性无关向量的数目,称作该向量空间的维数。</p>
</li>
<li>
<p>三维向量的点积:</p>
</li>
</ol>
<p></p>
<ol start="4">
<li>三维向量的叉积:</li>
</ol>
<p></p>
<p>其中 分别为 轴的单位向量。</p>
<p></p>
<ul>
<li> 和 的叉积垂直于 构成的平面,其方向符合右手规则。</li>
<li>叉积的模等于 构成的平行四边形的面积</li>
</ul>
<p></p>
<p></p>
<ol start="5">
<li>三维向量的混合积:</li>
</ol>
<p></p>
<p>其物理意义为:以
为三个棱边所围成的平行六面体的体积。 当
构成右手系时,该平行六面体的体积为正号。</p>
<ol start="6">
<li>两个向量的并矢:给定两个向量
</li>
</ol>
<p>,则向量的并矢记作:</p>
<p></p>
<p>也记作 或者 。</p>
<h2><a id="_145"></a>三、矩阵运算</h2>
<ol>
<li>给定两个矩阵
</li>
</ol>
<p>,定义:</p>
<ul>
<li>阿达马积(又称作逐元素积):</li>
</ul>
<p></p>
<ul>
<li>克罗内积:</li>
</ul>
<p></p>
<ol start="2">
<li>设
</li>
</ol>
<p>为 n 阶向量, 为 n 阶方阵,则有:</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<ol start="3">
<li>如果 f 是一元函数,则:</li>
</ol>
<pre><code>* 其逐元向量函数为:
</code></pre>
<p></p>
<ul>
<li>其逐矩阵函数为:</li>
</ul>
<p></p>
<ul>
<li>其逐元导数分别为:</li>
</ul>
<p></p>
<p></p>
<ol start="4">
<li>各种类型的偏导数:</li>
</ol>
<ul>
<li>
<p>标量对标量的偏导数: 。</p>
</li>
<li>
<p>标量对向量(n 维向量)的偏导数 :</p>
</li>
</ul>
<p></p>
<ul>
<li>标量对矩阵( 阶矩阵)的偏导数:</li>
</ul>
<p></p>
<ul>
<li>向量(m 维向量)对标量的偏导数:
</li>
</ul>
<p>。</p>
<ul>
<li>向量(m 维向量)对向量 (n 维向量) 的偏导数(雅可比矩阵,行优先)</li>
</ul>
<p></p>
<p>如果为列优先,则为上面矩阵的转置。</p>
<ul>
<li>矩阵( 阶矩阵)对标量的偏导数</li>
</ul>
<p></p>
<ol start="5">
<li>对于矩阵的迹,有下列偏导数成立:</li>
</ol>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<p></p>
<ol start="6">
<li>假设 是关于 的矩阵值函数(
</li>
</ol>
<p>),且 是关于 的实值函数(),则下面链式法则成立:</p>
<p></p>
<h2><a id="_351"></a>四、特殊函数</h2>
<ol>
<li>这里给出机器学习中用到的一些特殊函数。</li>
</ol>
<h3><a id="41_sigmoid__355"></a>4.1 sigmoid 函数</h3>
<ol>
<li>函数:</li>
</ol>
<p></p>
<ul>
<li>该函数可以用于生成二项分布的 参数。</li>
<li>当 x 很大或者很小时,该函数处于饱和状态。此时函数的曲线非常平坦,并且自变量的一个较大的变化只能带来函数值的一个微小的变化,即:导数很小。</li>
</ul>
<h3><a id="42_softplus__365"></a>4.2 softplus 函数</h3>
<ol>
<li>函数:
</li>
</ol>
<ul>
<li>该函数可以生成正态分布的 参数。</li>
<li>它之所以称作,因为它是下面函数的一个光滑逼近: 。</li>
</ul>
<ol start="2">
<li>如果定义两个函数:</li>
</ol>
<p></p>
<p>则它们分布获取了 的正部分和负部分。</p>
<p>根据定义有: 。而 逼近的是 , 逼近的是
,于是有:</p>
<p></p>
<ol start="3">
<li>和函数的性质:</li>
</ol>
<p></p>
<p>其中 为反函数。 也称作函数。</p>
<h3><a id="43__400"></a>4.3 伽马函数</h3>
<ol>
<li>伽马函数定义为:</li>
</ol>
<p></p>
<p>性质为:</p>
<ul>
<li>
<p>对于正整数 n 有: 。</p>
</li>
<li>
<p> ,因此伽马函数是阶乘在实数域上的扩展。</p>
</li>
<li>
<p>与贝塔函数的关系:</p>
</li>
</ul>
<p></p>
<ul>
<li>对于 有:</li>
</ul>
<p></p>
<p>则可以推导出重要公式: 。</p>
<ul>
<li>对于 ,伽马函数是严格凹函数。</li>
</ul>
<ol start="2">
<li>当 x 足够大时,可以用 公式来计算函数值:
</li>
</ol>
<h3><a id="44__432"></a>4.4 贝塔函数</h3>
<ol>
<li>对于任意实数 ,定义贝塔函数:</li>
</ol>
<p></p>
<p>其它形式的定义:</p>
<p></p>
<ol start="2">
<li>性质:</li>
</ol>
<ul>
<li>
<p>连续性:贝塔函数在定义域 内连续。</p>
</li>
<li>
<p>对称性: 。</p>
</li>
<li>
<p>递个公式:</p>
</li>
</ul>
<p></p>
<ul>
<li>当 较大时,有近似公式:
</li>
<li>与伽马函数关系:
<ul>
<li>对于任意正实数 ,有:
</li>
<li> 。</li>
</ul>
</li>
</ul>
<p><a href="http://www.huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/1_algebra.html" target="_blank">参考文献</a></p>
<pre><code class="lang-python">
</code></pre>
网友评论