美文网首页
机器学习数学基础复习

机器学习数学基础复习

作者: 喷气式蜗牛 | 来源:发表于2018-12-05 19:36 被阅读26次

    高等数学

    1.导数定义:

    导数和微分的概念

    f'({{x}_{0}})=\underset{\Delta x\to 0}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x} (1)

    或者:

    f'({{x}_{0}})=\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}} (2)

    2.左右导数导数的几何意义和物理意义

    函数f(x)x_0处的左、右导数分别定义为:

    左导数:{{{f}'}_{-}}({{x}_{0}})=\underset{\Delta x\to {{0}^{-}}}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}=\underset{x\to x_{0}^{-}}{\mathop{\lim }}\,\frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}},(x={{x}_{0}}+\Delta x)

    右导数:{{{f}'}_{+}}({{x}_{0}})=\underset{\Delta x\to {{0}^{+}}}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}=\underset{x\to x_{0}^{+}}{\mathop{\lim }}\,\frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}}

    3.函数的可导性与连续性之间的关系

    Th1: 函数f(x)x_0处可微\Leftrightarrow f(x)x_0处可导

    Th2: 若函数在点x_0处可导,则y=f(x)在点x_0处连续,反之则不成立。即函数连续不一定可导。

    Th3: {f}'({{x}_{0}})存在\Leftrightarrow {{{f}'}_{-}}({{x}_{0}})={{{f}'}_{+}}({{x}_{0}})

    4.平面曲线的切线和法线

    切线方程 : y-{{y}_{0}}=f'({{x}_{0}})(x-{{x}_{0}})
    法线方程:y-{{y}_{0}}=-\frac{1}{f'({{x}_{0}})}(x-{{x}_{0}}),f'({{x}_{0}})\ne 0

    5.四则运算法则
    设函数u=u(x),v=v(x)]在点x可导则
    (1) (u\pm v{)}'={u}'\pm {v}' d(u\pm v)=du\pm dv
    (2)(uv{)}'=u{v}'+v{u}' d(uv)=udv+vdu
    (3) (\frac{u}{v}{)}'=\frac{v{u}'-u{v}'}{{{v}^{2}}}(v\ne 0) d(\frac{u}{v})=\frac{vdu-udv}{{{v}^{2}}}

    6.基本导数与微分表
    (1) y=c(常数) {y}'=0 dy=0
    (2) y={{x}^{\alpha }}(\alpha为实数) {y}'=\alpha {{x}^{\alpha -1}} dy=\alpha {{x}^{\alpha -1}}dx
    (3) y={{a}^{x}} {y}'={{a}^{x}}\ln a dy={{a}^{x}}\ln adx
    特例: ({{{e}}^{x}}{)}'={{{e}}^{x}} d({{{e}}^{x}})={{{e}}^{x}}dx

    (4) {y}'=\frac{1}{x\ln a}

    dy=\frac{1}{x\ln a}dx
    特例:y=\ln x (\ln x{)}'=\frac{1}{x} d(\ln x)=\frac{1}{x}dx

    (5) y=\sin x

    {y}'=\cos x d(\sin x)=\cos xdx

    (6) y=\cos x

    {y}'=-\sin x d(\cos x)=-\sin xdx

    (7) y=\tan x

    {y}'=\frac{1}{{{\cos }^{2}}x}={{\sec }^{2}}x d(\tan x)={{\sec }^{2}}xdx
    (8) y=\cot x {y}'=-\frac{1}{{{\sin }^{2}}x}=-{{\csc }^{2}}x d(\cot x)=-{{\csc }^{2}}xdx
    (9) y=\sec x {y}'=\sec x\tan x

    d(\sec x)=\sec x\tan xdx
    (10) y=\csc x {y}'=-\csc x\cot x

    d(\csc x)=-\csc x\cot xdx
    (11) y=\arcsin x

    {y}'=\frac{1}{\sqrt{1-{{x}^{2}}}}

    d(\arcsin x)=\frac{1}{\sqrt{1-{{x}^{2}}}}dx
    (12) y=\arccos x

    {y}'=-\frac{1}{\sqrt{1-{{x}^{2}}}} d(\arccos x)=-\frac{1}{\sqrt{1-{{x}^{2}}}}dx

    (13) y=\arctan x

    {y}'=\frac{1}{1+{{x}^{2}}} d(\arctan x)=\frac{1}{1+{{x}^{2}}}dx

    (14) y=\operatorname{arc}\cot x

    {y}'=-\frac{1}{1+{{x}^{2}}}

    d(\operatorname{arc}\cot x)=-\frac{1}{1+{{x}^{2}}}dx
    (15) y=shx

    {y}'=chx d(shx)=chxdx

    (16) y=chx

    {y}'=shx d(chx)=shxdx

    7.复合函数,反函数,隐函数以及参数方程所确定的函数的微分法

    (1) 反函数的运算法则: 设y=f(x)在点x的某邻域内单调连续,在点x处可导且{f}'(x)\ne 0,则其反函数在点x所对应的y处可导,并且有\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}
    (2) 复合函数的运算法则:若\mu =\varphi (x)在点x可导,而y=f(\mu )在对应点\mu(\mu =\varphi (x))可导,则复合函数y=f(\varphi (x))在点x可导,且{y}'={f}'(\mu )\cdot {\varphi }'(x)
    (3) 隐函数导数\frac{dy}{dx}的求法一般有三种方法:
    1)方程两边对x求导,要记住yx的函数,则y的函数是x的复合函数.例如\frac{1}{y}{{y}^{2}}ln y{{{e}}^{y}}等均是x的复合函数.
    x求导应按复合函数连锁法则做.
    2)公式法.由F(x,y)=0\frac{dy}{dx}=-\frac{{{{{F}'}}_{x}}(x,y)}{{{{{F}'}}_{y}}(x,y)},其中,{{{F}'}_{x}}(x,y)
    {{{F}'}_{y}}(x,y)分别表示F(x,y)xy的偏导数
    3)利用微分形式不变性

    8.常用高阶导数公式

    (1)({{a}^{x}}){{\,}^{(n)}}={{a}^{x}}{{\ln }^{n}}a\quad (a>{0})\quad \quad ({{{e}}^{x}}){{\,}^{(n)}}={e}{{\,}^{x}}
    (2)(\sin kx{)}{{\,}^{(n)}}={{k}^{n}}\sin (kx+n\cdot \frac{\pi }{{2}})
    (3)(\cos kx{)}{{\,}^{(n)}}={{k}^{n}}\cos (kx+n\cdot \frac{\pi }{{2}})
    (4)({{x}^{m}}){{\,}^{(n)}}=m(m-1)\cdots (m-n+1){{x}^{m-n}}
    (5)(\ln x){{\,}^{(n)}}={{(-{1})}^{(n-{1})}}\frac{(n-{1})!}{{{x}^{n}}}
    (6)莱布尼兹公式:若u(x)\,,v(x)n阶可导,则
    {{(uv)}^{(n)}}=\sum\limits_{i={0}}^{n}{c_{n}^{i}{{u}^{(i)}}{{v}^{(n-i)}}},其中{{u}^{({0})}}=u{{v}^{({0})}}=v

    9.微分中值定理,泰勒公式

    Th1:(费马定理)

    若函数f(x)满足条件:
    (1)函数f(x){{x}_{0}}的某邻域内有定义,并且在此邻域内恒有
    f(x)\le f({{x}_{0}})f(x)\ge f({{x}_{0}}),

    (2) f(x){{x}_{0}}处可导,则有 {f}'({{x}_{0}})=0

    Th2:(罗尔定理)

    设函数f(x)满足条件:
    (1)在闭区间[a,b]上连续;

    (2)在(a,b)内可导;

    (3)f(a)=f(b)

    则在(a,b)内一存在个\xi,使 {f}'(\xi )=0
    Th3: (拉格朗日中值定理)

    设函数f(x)满足条件:
    (1)在[a,b]上连续;

    (2)在(a,b)内可导;

    则在(a,b)内一存在个\xi,使 \frac{f(b)-f(a)}{b-a}={f}'(\xi )

    Th4: (柯西中值定理)

    设函数f(x)g(x)满足条件:
    (1) 在[a,b]上连续;

    (2) 在(a,b)内可导且{f}'(x){g}'(x)均存在,且{g}'(x)\ne 0

    则在(a,b)内存在一个\xi,使 \frac{f(b)-f(a)}{g(b)-g(a)}=\frac{{f}'(\xi )}{{g}'(\xi )}

    10.洛必达法则
    法则Ⅰ (\frac{0}{0}型)
    设函数f\left( x \right),g\left( x \right)满足条件:
    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,f\left( x \right)=0,\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,g\left( x \right)=0;

    f\left( x \right),g\left( x \right){{x}_{0}}的邻域内可导,(在{{x}_{0}}处可除外)且{g}'\left( x \right)\ne 0;

    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}存在(或\infty)。

    则:
    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{f\left( x \right)}{g\left( x \right)}=\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}
    法则{{I}'} (\frac{0}{0}型)设函数f\left( x \right),g\left( x \right)满足条件:
    \underset{x\to \infty }{\mathop{\lim }}\,f\left( x \right)=0,\underset{x\to \infty }{\mathop{\lim }}\,g\left( x \right)=0;

    存在一个X>0,当\left| x \right|>X时,f\left( x \right),g\left( x \right)可导,且{g}'\left( x \right)\ne 0;\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}存在(或\infty)。

    则:
    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{f\left( x \right)}{g\left( x \right)}=\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}
    法则Ⅱ(\frac{\infty }{\infty }型) 设函数f\left( x \right),g\left( x \right)满足条件:
    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,f\left( x \right)=\infty ,\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,g\left( x \right)=\infty; f\left( x \right),g\left( x \right){{x}_{0}} 的邻域内可导(在{{x}_{0}}处可除外)且{g}'\left( x \right)\ne 0;\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}存在(或\infty)。则
    \underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{f\left( x \right)}{g\left( x \right)}=\underset{x\to {{x}_{0}}}{\mathop{\lim }}\,\frac{{f}'\left( x \right)}{{g}'\left( x \right)}.同理法则{I{I}'}(\frac{\infty }{\infty }型)仿法则{{I}'}可写出。

    11.泰勒公式

    设函数f(x)在点{{x}_{0}}处的某邻域内具有n+1阶导数,则对该邻域内异于{{x}_{0}}的任意点x,在{{x}_{0}}x之间至少存在
    一个\xi,使得:
    f(x)=f({{x}_{0}})+{f}'({{x}_{0}})(x-{{x}_{0}})+\frac{1}{2!}{f}''({{x}_{0}}){{(x-{{x}_{0}})}^{2}}+\cdots
    +\frac{{{f}^{(n)}}({{x}_{0}})}{n!}{{(x-{{x}_{0}})}^{n}}+{{R}_{n}}(x)
    其中 {{R}_{n}}(x)=\frac{{{f}^{(n+1)}}(\xi )}{(n+1)!}{{(x-{{x}_{0}})}^{n+1}}称为f(x)在点{{x}_{0}}处的n阶泰勒余项。

    {{x}_{0}}=0,则n阶泰勒公式
    f(x)=f(0)+{f}'(0)x+\frac{1}{2!}{f}''(0){{x}^{2}}+\cdots +\frac{{{f}^{(n)}}(0)}{n!}{{x}^{n}}+{{R}_{n}}(x)……(1)
    其中 {{R}_{n}}(x)=\frac{{{f}^{(n+1)}}(\xi )}{(n+1)!}{{x}^{n+1}}\xi在0与x之间.(1)式称为麦克劳林公式

    常用五种函数在{{x}_{0}}=0处的泰勒公式

    (1) {{{e}}^{x}}=1+x+\frac{1}{2!}{{x}^{2}}+\cdots +\frac{1}{n!}{{x}^{n}}+\frac{{{x}^{n+1}}}{(n+1)!}{{e}^{\xi }}

    =1+x+\frac{1}{2!}{{x}^{2}}+\cdots +\frac{1}{n!}{{x}^{n}}+o({{x}^{n}})

    (2) \sin x=x-\frac{1}{3!}{{x}^{3}}+\cdots +\frac{{{x}^{n}}}{n!}\sin \frac{n\pi }{2}+\frac{{{x}^{n+1}}}{(n+1)!}\sin (\xi +\frac{n+1}{2}\pi )

    =x-\frac{1}{3!}{{x}^{3}}+\cdots +\frac{{{x}^{n}}}{n!}\sin \frac{n\pi }{2}+o({{x}^{n}})

    (3) \cos x=1-\frac{1}{2!}{{x}^{2}}+\cdots +\frac{{{x}^{n}}}{n!}\cos \frac{n\pi }{2}+\frac{{{x}^{n+1}}}{(n+1)!}\cos (\xi +\frac{n+1}{2}\pi )

    =1-\frac{1}{2!}{{x}^{2}}+\cdots +\frac{{{x}^{n}}}{n!}\cos \frac{n\pi }{2}+o({{x}^{n}})

    (4) \ln (1+x)=x-\frac{1}{2}{{x}^{2}}+\frac{1}{3}{{x}^{3}}-\cdots +{{(-1)}^{n-1}}\frac{{{x}^{n}}}{n}+\frac{{{(-1)}^{n}}{{x}^{n+1}}}{(n+1){{(1+\xi )}^{n+1}}}

    =x-\frac{1}{2}{{x}^{2}}+\frac{1}{3}{{x}^{3}}-\cdots +{{(-1)}^{n-1}}\frac{{{x}^{n}}}{n}+o({{x}^{n}})

    (5) {{(1+x)}^{m}}=1+mx+\frac{m(m-1)}{2!}{{x}^{2}}+\cdots +\frac{m(m-1)\cdots (m-n+1)}{n!}{{x}^{n}}
    +\frac{m(m-1)\cdots (m-n+1)}{(n+1)!}{{x}^{n+1}}{{(1+\xi )}^{m-n-1}}

    {{(1+x)}^{m}}=1+mx+\frac{m(m-1)}{2!}{{x}^{2}}+\cdots +\frac{m(m-1)\cdots (m-n+1)}{n!}{{x}^{n}}+o({{x}^{n}})

    12.函数单调性的判断
    Th1: 设函数f(x)(a,b)区间内可导,如果对\forall x\in (a,b),都有f\,'(x)>0(或f\,'(x)<0),则函数f(x)(a,b)内是单调增加的(或单调减少)

    Th2: (取极值的必要条件)设函数f(x){{x}_{0}}处可导,且在{{x}_{0}}处取极值,则f\,'({{x}_{0}})=0

    Th3: (取极值的第一充分条件)设函数f(x){{x}_{0}}的某一邻域内可微,且f\,'({{x}_{0}})=0(或f(x){{x}_{0}}处连续,但f\,'({{x}_{0}})不存在。)
    (1)若当x经过{{x}_{0}}时,f\,'(x)由“+”变“-”,则f({{x}_{0}})为极大值;
    (2)若当x​经过{{x}_{0}}​时,f\,'(x)由“-”变“+”,则f({{x}_{0}})为极小值;
    (3)若f\,'(x)经过x={{x}_{0}}的两侧不变号,则f({{x}_{0}})不是极值。

    Th4: (取极值的第二充分条件)设f(x)在点{{x}_{0}}处有f''(x)\ne 0,且f\,'({{x}_{0}})=0,则 当f'\,'({{x}_{0}})<0时,f({{x}_{0}})为极大值;
    f'\,'({{x}_{0}})>0时,f({{x}_{0}})为极小值。
    注:如果f'\,'({{x}_{0}})<0,此方法失效。

    13.渐近线的求法
    (1)水平渐近线 若\underset{x\to +\infty }{\mathop{\lim }}\,f(x)=b,或\underset{x\to -\infty }{\mathop{\lim }}\,f(x)=b,则

    y=b称为函数y=f(x)的水平渐近线。

    (2)铅直渐近线 若\underset{x\to x_{0}^{-}}{\mathop{\lim }}\,f(x)=\infty,或\underset{x\to x_{0}^{+}}{\mathop{\lim }}\,f(x)=\infty,则

    x={{x}_{0}}称为y=f(x)的铅直渐近线。

    (3)斜渐近线 若a=\underset{x\to \infty }{\mathop{\lim }}\,\frac{f(x)}{x},\quad b=\underset{x\to \infty }{\mathop{\lim }}\,[f(x)-ax],则
    y=ax+b称为y=f(x)的斜渐近线。

    14.函数凹凸性的判断
    Th1: (凹凸性的判别定理)若在I上f''(x)<0(或f''(x)>0),则f(x)在I上是凸的(或凹的)。

    Th2: (拐点的判别定理1)若在{{x}_{0}}f''(x)=0,(或f''(x)不存在),当x变动经过{{x}_{0}}时,f''(x)变号,则({{x}_{0}},f({{x}_{0}}))为拐点。

    Th3: (拐点的判别定理2)设f(x){{x}_{0}}点的某邻域内有三阶导数,且f''(x)=0f'''(x)\ne 0,则({{x}_{0}},f({{x}_{0}}))为拐点。

    15.弧微分

    dS=\sqrt{1+y{{'}^{2}}}dx

    16.曲率

    曲线y=f(x)在点(x,y)处的曲率k=\frac{\left| y'' \right|}{{{(1+y{{'}^{2}})}^{\tfrac{3}{2}}}}
    对于参数方程\left\{ \begin{align} & x=\varphi (t) \\ & y=\psi (t) \\ \end{align} \right.,$$k=\frac{\left| \varphi '(t)\psi ''(t)-\varphi ''(t)\psi '(t) \right|}{{{[\varphi {{'}^{2}}(t)+\psi {{'}^{2}}(t)]}^{\tfrac{3}{2}}}}

    17.曲率半径

    曲线在点M处的曲率k(k\ne 0)与曲线在点M处的曲率半径\rho有如下关系:\rho =\frac{1}{k}

    线性代数

    行列式

    1.行列式按行(列)展开定理

    (1) 设A = ( a_{{ij}} )_{n \times n},则:a_{i1}A_{j1} +a_{i2}A_{j2} + \cdots + a_{{in}}A_{{jn}} = \begin{cases}|A|,i=j\\ 0,i \neq j\end{cases}

    a_{1i}A_{1j} + a_{2i}A_{2j} + \cdots + a_{{ni}}A_{{nj}} = \begin{cases}|A|,i=j\\ 0,i \neq j\end{cases}AA^{*} = A^{*}A = \left| A \right|E,其中:A^{*} = \begin{pmatrix} A_{11} & A_{12} & \ldots & A_{1n} \\ A_{21} & A_{22} & \ldots & A_{2n} \\ \ldots & \ldots & \ldots & \ldots \\ A_{n1} & A_{n2} & \ldots & A_{{nn}} \\ \end{pmatrix} = (A_{{ji}}) = {(A_{{ij}})}^{T}

    D_{n} = \begin{vmatrix} 1 & 1 & \ldots & 1 \\ x_{1} & x_{2} & \ldots & x_{n} \\ \ldots & \ldots & \ldots & \ldots \\ x_{1}^{n - 1} & x_{2}^{n - 1} & \ldots & x_{n}^{n - 1} \\ \end{vmatrix} = \prod_{1 \leq j < i \leq n}^{}\,(x_{i} - x_{j})

    (2) 设A,Bn阶方阵,则\left| {AB} \right| = \left| A \right|\left| B \right| = \left| B \right|\left| A \right| = \left| {BA} \right|,但\left| A \pm B \right| = \left| A \right| \pm \left| B \right|不一定成立。

    (3) \left| {kA} \right| = k^{n}\left| A \right|,An阶方阵。

    (4) 设An阶方阵,|A^{T}| = |A|;|A^{- 1}| = |A|^{- 1}(若A可逆),|A^{*}| = |A|^{n - 1}

    n \geq 2

    (5) \left| \begin{matrix} & {A\quad O} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad C} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad O} \\ & {C\quad B} \\ \end{matrix} \right| =| A||B|
    A,B为方阵,但\left| \begin{matrix} {O} & A_{m \times m} \\ B_{n \times n} & { O} \\ \end{matrix} \right| = ({- 1)}^{{mn}}|A||B|

    (6) 范德蒙行列式D_{n} = \begin{vmatrix} 1 & 1 & \ldots & 1 \\ x_{1} & x_{2} & \ldots & x_{n} \\ \ldots & \ldots & \ldots & \ldots \\ x_{1}^{n - 1} & x_{2}^{n 1} & \ldots & x_{n}^{n - 1} \\ \end{vmatrix} = \prod_{1 \leq j < i \leq n}^{}\,(x_{i} - x_{j})

    An阶方阵,\lambda_{i}(i = 1,2\cdots,n)An个特征值,则
    |A| = \prod_{i = 1}^{n}\lambda_{i}​

    矩阵

    矩阵:m \times n个数a_{{ij}}排成mn列的表格\begin{bmatrix} a_{11}\quad a_{12}\quad\cdots\quad a_{1n} \\ a_{21}\quad a_{22}\quad\cdots\quad a_{2n} \\ \quad\cdots\cdots\cdots\cdots\cdots \\ a_{m1}\quad a_{m2}\quad\cdots\quad a_{{mn}} \\ \end{bmatrix} 称为矩阵,简记为A,或者\left( a_{{ij}} \right)_{m \times n} 。若m = n,则称An阶矩阵或n阶方阵。

    矩阵的线性运算

    1.矩阵的加法

    A = (a_{{ij}}),B = (b_{{ij}})是两个m \times n矩阵,则m \times n 矩阵C = c_{{ij}}) = a_{{ij}} + b_{{ij}}称为矩阵AB的和,记为A + B = C

    2.矩阵的数乘

    A = (a_{{ij}})m \times n矩阵,k是一个常数,则m \times n矩阵(ka_{{ij}})称为数k与矩阵A的数乘,记为{kA}

    3.矩阵的乘法

    A = (a_{{ij}})m \times n矩阵,B = (b_{{ij}})n \times s矩阵,那么m \times s矩阵C = (c_{{ij}}),其中c_{{ij}} = a_{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{{in}}b_{{nj}} = \sum_{k =1}^{n}{a_{{ik}}b_{{kj}}}称为{AB}的乘积,记为C = AB

    4. \mathbf{A}^{\mathbf{T}}\mathbf{A}^{\mathbf{-1}}\mathbf{A}^{\mathbf{*}}三者之间的关系

    (1) {(A^{T})}^{T} = A,{(AB)}^{T} = B^{T}A^{T},{(kA)}^{T} = kA^{T},{(A \pm B)}^{T} = A^{T} \pm B^{T}

    (2) \left( A^{- 1} \right)^{- 1} = A,\left( {AB} \right)^{- 1} = B^{- 1}A^{- 1},\left( {kA} \right)^{- 1} = \frac{1}{k}A^{- 1},

    {(A \pm B)}^{- 1} = A^{- 1} \pm B^{- 1}不一定成立。

    (3) \left( A^{*} \right)^{*} = |A|^{n - 2}\ A\ \ (n \geq 3)\left({AB} \right)^{*} = B^{*}A^{*}, \left( {kA} \right)^{*} = k^{n -1}A^{*}{\ \ }\left( n \geq 2 \right)

    \left( A \pm B \right)^{*} = A^{*} \pm B^{*}不一定成立。

    (4) {(A^{- 1})}^{T} = {(A^{T})}^{- 1},\ \left( A^{- 1} \right)^{*} ={(AA^{*})}^{- 1},{(A^{*})}^{T} = \left( A^{T} \right)^{*}

    5.有关\mathbf{A}^{\mathbf{*}}的结论

    (1) AA^{*} = A^{*}A = |A|E

    (2) |A^{*}| = |A|^{n - 1}\ (n \geq 2),\ \ \ \ {(kA)}^{*} = k^{n -1}A^{*},{{\ \ }\left( A^{*} \right)}^{*} = |A|^{n - 2}A(n \geq 3)

    (3) 若A可逆,则A^{*} = |A|A^{- 1},{(A^{*})}^{*} = \frac{1}{|A|}A

    (4) 若A​n​阶方阵,则:

    r(A^*)=\begin{cases}n,\quad r(A)=n\\ 1,\quad r(A)=n-1\\ 0,\quad r(A)<n-1\end{cases}

    6.有关\mathbf{A}^{\mathbf{- 1}}的结论

    A可逆\Leftrightarrow AB = E; \Leftrightarrow |A| \neq 0; \Leftrightarrow r(A) = n;

    \Leftrightarrow A可以表示为初等矩阵的乘积;\Leftrightarrow A;\Leftrightarrow Ax = 0

    7.有关矩阵秩的结论

    (1) 秩r(A)=行秩=列秩;

    (2) r(A_{m \times n}) \leq \min(m,n);

    (3) A \neq 0 \Rightarrow r(A) \geq 1

    (4) r(A \pm B) \leq r(A) + r(B);

    (5) 初等变换不改变矩阵的秩

    (6) r(A) + r(B) - n \leq r(AB) \leq \min(r(A),r(B)),特别若AB = O
    则:r(A) + r(B) \leq n

    (7) 若A^{- 1}存在\Rightarrow r(AB) = r(B);B^{- 1}存在
    \Rightarrow r(AB) = r(A);

    r(A_{m \times n}) = n \Rightarrow r(AB) = r(B);r(A_{m \times s}) = n\Rightarrow r(AB) = r\left( A \right)

    (8) r(A_{m \times s}) = n \Leftrightarrow Ax = 0只有零解

    8.分块求逆公式

    \begin{pmatrix} A & O \\ O & B \\ \end{pmatrix}^{- 1} = \begin{pmatrix} A^{-1} & O \\ O & B^{- 1} \\ \end{pmatrix}\begin{pmatrix} A & C \\ O & B \\\end{pmatrix}^{- 1} = \begin{pmatrix} A^{- 1}& - A^{- 1}CB^{- 1} \\ O & B^{- 1} \\ \end{pmatrix}

    \begin{pmatrix} A & O \\ C & B \\ \end{pmatrix}^{- 1} = \begin{pmatrix} A^{- 1}&{O} \\ - B^{- 1}CA^{- 1} & B^{- 1} \\\end{pmatrix}\begin{pmatrix} O & A \\ B & O \\ \end{pmatrix}^{- 1} =\begin{pmatrix} O & B^{- 1} \\ A^{- 1} & O \\ \end{pmatrix}

    这里AB均为可逆方阵。

    向量

    1.有关向量组的线性表示

    (1)\alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性相关\Leftrightarrow至少有一个向量可以用其余向量线性表示。

    (2)\alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性无关,\alpha_{1},\alpha_{2},\cdots,\alpha_{s}\beta线性相关\Leftrightarrow \beta可以由\alpha_{1},\alpha_{2},\cdots,\alpha_{s}唯一线性表示。

    (3) \beta可以由\alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性表示
    \Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) =r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta)

    2.有关向量组的线性相关性

    (1)部分相关,整体相关;整体无关,部分无关.

    (2) ① nn维向量
    \alpha_{1},\alpha_{2}\cdots\alpha_{n}线性无关\Leftrightarrow \left|\left\lbrack \alpha_{1}\alpha_{2}\cdots\alpha_{n} \right\rbrack \right| \neq0nn维向量\alpha_{1},\alpha_{2}\cdots\alpha_{n}线性相关
    \Leftrightarrow |\lbrack\alpha_{1},\alpha_{2},\cdots,\alpha_{n}\rbrack| = 0

    n + 1n维向量线性相关。

    ③ 若\alpha_{1},\alpha_{2}\cdots\alpha_{S}线性无关,则添加分量后仍线性无关;或一组向量线性相关,去掉某些分量后仍线性相关。

    3.有关向量组的线性表示

    (1) \alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性相关\Leftrightarrow至少有一个向量可以用其余向量线性表示。

    (2) \alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性无关,\alpha_{1},\alpha_{2},\cdots,\alpha_{s}\beta线性相关\Leftrightarrow\beta 可以由\alpha_{1},\alpha_{2},\cdots,\alpha_{s}唯一线性表示。

    (3) \beta可以由\alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性表示
    \Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) =r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta)

    4.向量组的秩与矩阵的秩之间的关系

    r(A_{m \times n}) =r,则A的秩r(A)A的行列向量组的线性相关性关系为:

    (1) 若r(A_{m \times n}) = r = m,则A的行向量组线性无关。

    (2) 若r(A_{m \times n}) = r < m,则A的行向量组线性相关。

    (3) 若r(A_{m \times n}) = r = n,则A的列向量组线性无关。

    (4) 若r(A_{m \times n}) = r < n,则A的列向量组线性相关。

    5.\mathbf{n}维向量空间的基变换公式及过渡矩阵

    \alpha_{1},\alpha_{2},\cdots,\alpha_{n}\beta_{1},\beta_{2},\cdots,\beta_{n}是向量空间V的两组基,则基变换公式为:

    (\beta_{1},\beta_{2},\cdots,\beta_{n}) = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})\begin{bmatrix} c_{11}& c_{12}& \cdots & c_{1n} \\ c_{21}& c_{22}&\cdots & c_{2n} \\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2} & \cdots & c_{{nn}} \\\end{bmatrix} = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})C

    其中C是可逆矩阵,称为由基\alpha_{1},\alpha_{2},\cdots,\alpha_{n}到基\beta_{1},\beta_{2},\cdots,\beta_{n}的过渡矩阵。

    6.坐标变换公式

    若向量\gamma在基\alpha_{1},\alpha_{2},\cdots,\alpha_{n}与基\beta_{1},\beta_{2},\cdots,\beta_{n}的坐标分别是
    X = {(x_{1},x_{2},\cdots,x_{n})}^{T}

    Y = \left( y_{1},y_{2},\cdots,y_{n} \right)^{T} 即: \gamma =x_{1}\alpha_{1} + x_{2}\alpha_{2} + \cdots + x_{n}\alpha_{n} = y_{1}\beta_{1} +y_{2}\beta_{2} + \cdots + y_{n}\beta_{n},则向量坐标变换公式为X = CYY = C^{- 1}X,其中C是从基\alpha_{1},\alpha_{2},\cdots,\alpha_{n}到基\beta_{1},\beta_{2},\cdots,\beta_{n}的过渡矩阵。

    7.向量的内积

    (\alpha,\beta) = a_{1}b_{1} + a_{2}b_{2} + \cdots + a_{n}b_{n} = \alpha^{T}\beta = \beta^{T}\alpha

    8.Schmidt正交化

    \alpha_{1},\alpha_{2},\cdots,\alpha_{s}线性无关,则可构造\beta_{1},\beta_{2},\cdots,\beta_{s}使其两两正交,且\beta_{i}仅是\alpha_{1},\alpha_{2},\cdots,\alpha_{i}的线性组合(i= 1,2,\cdots,n),再把\beta_{i}单位化,记\gamma_{i} =\frac{\beta_{i}}{\left| \beta_{i}\right|},则\gamma_{1},\gamma_{2},\cdots,\gamma_{i}是规范正交向量组。其中
    \beta_{1} = \alpha_{1}\beta_{2} = \alpha_{2} -\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1}\beta_{3} =\alpha_{3} - \frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} -\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2}

    ............

    \beta_{s} = \alpha_{s} - \frac{(\alpha_{s},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} - \frac{(\alpha_{s},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2} - \cdots - \frac{(\alpha_{s},\beta_{s - 1})}{(\beta_{s - 1},\beta_{s - 1})}\beta_{s - 1}

    9.正交基及规范正交基

    向量空间一组基中的向量如果两两正交,就称为正交基;若正交基中每个向量都是单位向量,就称其为规范正交基。

    线性方程组

    1.克莱姆法则

    线性方程组\begin{cases} a_{11}x_{1} + a_{12}x_{2} + \cdots +a_{1n}x_{n} = b_{1} \\ a_{21}x_{1} + a_{22}x_{2} + \cdots + a_{2n}x_{n} =b_{2} \\ \quad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots \\ a_{n1}x_{1} + a_{n2}x_{2} + \cdots + a_{{nn}}x_{n} = b_{n} \\ \end{cases},如果系数行列式D = \left| A \right| \neq 0,则方程组有唯一解,x_{1} = \frac{D_{1}}{D},x_{2} = \frac{D_{2}}{D},\cdots,x_{n} =\frac{D_{n}}{D},其中D_{j}是把D中第j列元素换成方程组右端的常数列所得的行列式。

    2. n阶矩阵A可逆\Leftrightarrow Ax = 0只有零解。\Leftrightarrow\forall b,Ax = b总有唯一解,一般地,r(A_{m \times n}) = n \Leftrightarrow Ax= 0只有零解。

    3.非奇次线性方程组有解的充分必要条件,线性方程组解的性质和解的结构

    (1) 设Am \times n矩阵,若r(A_{m \times n}) = m,则对Ax =b而言必有r(A) = r(A \vdots b) = m,从而Ax = b有解。

    (2) 设x_{1},x_{2},\cdots x_{s}Ax = b的解,则k_{1}x_{1} + k_{2}x_{2}\cdots + k_{s}x_{s}k_{1} + k_{2} + \cdots + k_{s} = 1时仍为Ax =b的解;但当k_{1} + k_{2} + \cdots + k_{s} = 0时,则为Ax =0的解。特别\frac{x_{1} + x_{2}}{2}Ax = b的解;2x_{3} - (x_{1} +x_{2})Ax = 0的解。

    (3) 非齐次线性方程组{Ax} = b无解\Leftrightarrow r(A) + 1 =r(\overline{A}) \Leftrightarrow b不能由A的列向量\alpha_{1},\alpha_{2},\cdots,\alpha_{n}线性表示。

    4.奇次线性方程组的基础解系和通解,解空间,非奇次线性方程组的通解

    (1) 齐次方程组{Ax} = 0恒有解(必有零解)。当有非零解时,由于解向量的任意线性组合仍是该齐次方程组的解向量,因此{Ax}= 0的全体解向量构成一个向量空间,称为该方程组的解空间,解空间的维数是n - r(A),解空间的一组基称为齐次方程组的基础解系。

    (2) \eta_{1},\eta_{2},\cdots,\eta_{t}{Ax} = 0的基础解系,即:

    1. \eta_{1},\eta_{2},\cdots,\eta_{t}{Ax} = 0的解;

    2. \eta_{1},\eta_{2},\cdots,\eta_{t}线性无关;

    3. {Ax} = 0的任一解都可以由\eta_{1},\eta_{2},\cdots,\eta_{t}线性表出.
      k_{1}\eta_{1} + k_{2}\eta_{2} + \cdots + k_{t}\eta_{t}{Ax} = 0的通解,其中k_{1},k_{2},\cdots,k_{t}是任意常数。

    矩阵的特征值和特征向量

    1.矩阵的特征值和特征向量的概念及性质

    (1) 设\lambdaA的一个特征值,则 {kA},{aA} + {bE},A^{2},A^{m},f(A),A^{T},A^{- 1},A^{*}有一个特征值分别为
    {kλ},{aλ} + b,\lambda^{2},\lambda^{m},f(\lambda),\lambda,\lambda^{- 1},\frac{|A|}{\lambda},且对应特征向量相同(A^{T} 例外)。

    (2)若\lambda_{1},\lambda_{2},\cdots,\lambda_{n}An个特征值,则\sum_{i= 1}^{n}\lambda_{i} = \sum_{i = 1}^{n}a_{{ii}},\prod_{i = 1}^{n}\lambda_{i}= |A| ,从而|A| \neq 0 \Leftrightarrow A没有特征值。

    (3)设\lambda_{1},\lambda_{2},\cdots,\lambda_{s}As个特征值,对应特征向量为\alpha_{1},\alpha_{2},\cdots,\alpha_{s}

    若: \alpha = k_{1}\alpha_{1} + k_{2}\alpha_{2} + \cdots + k_{s}\alpha_{s} ,

    则: A^{n}\alpha = k_{1}A^{n}\alpha_{1} + k_{2}A^{n}\alpha_{2} + \cdots +k_{s}A^{n}\alpha_{s} = k_{1}\lambda_{1}^{n}\alpha_{1} +k_{2}\lambda_{2}^{n}\alpha_{2} + \cdots k_{s}\lambda_{s}^{n}\alpha_{s}

    2.相似变换、相似矩阵的概念及性质

    (1) 若A \sim B,则

    1. A^{T} \sim B^{T},A^{- 1} \sim B^{- 1},,A^{*} \sim B^{*}

    2. |A| = |B|,\sum_{i = 1}^{n}A_{{ii}} = \sum_{i =1}^{n}b_{{ii}},r(A) = r(B)

    3. |\lambda E - A| = |\lambda E - B|,对\forall\lambda成立

    3.矩阵可相似对角化的充分必要条件

    (1)设An阶方阵,则A可对角化\Leftrightarrow对每个k_{i}重根特征值\lambda_{i},有n-r(\lambda_{i}E - A) = k_{i}

    (2) 设A可对角化,则由P^{- 1}{AP} = \Lambda,A = {PΛ}P^{-1},从而A^{n} = P\Lambda^{n}P^{- 1}

    (3) 重要结论

    1. A \sim B,C \sim D​,则\begin{bmatrix} A & O \\ O & C \\\end{bmatrix} \sim \begin{bmatrix} B & O \\ O & D \\\end{bmatrix}​.

    2. A \sim B,则f(A) \sim f(B),\left| f(A) \right| \sim \left| f(B)\right|,其中f(A)为关于n阶方阵A的多项式。

    3. A为可对角化矩阵,则其非零特征值的个数(重根重复计算)=秩(A)

    4.实对称矩阵的特征值、特征向量及相似对角阵

    (1)相似矩阵:设A,B为两个n阶方阵,如果存在一个可逆矩阵P,使得B =P^{- 1}{AP}成立,则称矩阵AB相似,记为A \sim B

    (2)相似矩阵的性质:如果A \sim B则有:

    1. A^{T} \sim B^{T}

    2. A^{- 1} \sim B^{- 1} (若AB均可逆)

    3. A^{k} \sim B^{k}k为正整数)

    4. \left| {λE} - A \right| = \left| {λE} - B \right|,从而A,B
      有相同的特征值

    5. \left| A \right| = \left| B \right|,从而A,B同时可逆或者不可逆

    6. \left( A \right) =\left( B \right),\left| {λE} - A \right| =\left| {λE} - B \right|A,B不一定相似

    二次型

    1.\mathbf{n}个变量\mathbf{x}_{\mathbf{1}}\mathbf{,}\mathbf{x}_{\mathbf{2}}\mathbf{,\cdots,}\mathbf{x}_{\mathbf{n}}的二次齐次函数

    f(x_{1},x_{2},\cdots,x_{n}) = \sum_{i = 1}^{n}{\sum_{j =1}^{n}{a_{{ij}}x_{i}y_{j}}},其中a_{{ij}} = a_{{ji}}(i,j =1,2,\cdots,n),称为n元二次型,简称二次型. 若令x = \ \begin{bmatrix}x_{1} \\ x_{1} \\ \vdots \\ x_{n} \\ \end{bmatrix},A = \begin{bmatrix} a_{11}& a_{12}& \cdots & a_{1n} \\ a_{21}& a_{22}& \cdots & a_{2n} \\ \cdots &\cdots &\cdots &\cdots \\ a_{n1}& a_{n2} & \cdots & a_{{nn}} \\\end{bmatrix},这二次型f可改写成矩阵向量形式f =x^{T}{Ax}。其中A称为二次型矩阵,因为a_{{ij}} =a_{{ji}}(i,j =1,2,\cdots,n),所以二次型矩阵均为对称矩阵,且二次型与对称矩阵一一对应,并把矩阵A的秩称为二次型的秩。

    2.惯性定理,二次型的标准形和规范形

    (1) 惯性定理

    对于任一二次型,不论选取怎样的合同变换使它化为仅含平方项的标准型,其正负惯性指数与所选变换无关,这就是所谓的惯性定理。

    (2) 标准形

    二次型f = \left( x_{1},x_{2},\cdots,x_{n} \right) =x^{T}{Ax}经过合同变换x = {Cy}化为f = x^{T}{Ax} =y^{T}C^{T}{AC}

    y = \sum_{i = 1}^{r}{d_{i}y_{i}^{2}}称为 f(r \leq n)的标准形。在一般的数域内,二次型的标准形不是唯一的,与所作的合同变换有关,但系数不为零的平方项的个数由r(A)唯一确定。

    (3) 规范形

    任一实二次型f都可经过合同变换化为规范形f = z_{1}^{2} + z_{2}^{2} + \cdots z_{p}^{2} - z_{p + 1}^{2} - \cdots -z_{r}^{2},其中rA的秩,p为正惯性指数,r -p为负惯性指数,且规范型唯一。

    3.用正交变换和配方法化二次型为标准形,二次型及其矩阵的正定性

    A正定\Rightarrow {kA}(k > 0),A^{T},A^{- 1},A^{*}正定;|A| >0,A可逆;a_{{ii}} > 0,且|A_{{ii}}| > 0

    AB正定\Rightarrow A +B正定,但{AB}{BA}不一定正定

    A正定\Leftrightarrow f(x) = x^{T}{Ax} > 0,\forall x \neq 0

    \Leftrightarrow A的各阶顺序主子式全大于零

    \Leftrightarrow A的所有特征值大于零

    \Leftrightarrow A的正惯性指数为n

    \Leftrightarrow存在可逆阵P使A = P^{T}P

    \Leftrightarrow存在正交矩阵Q,使Q^{T}{AQ} = Q^{- 1}{AQ} =\begin{pmatrix} \lambda_{1} & & \\ \begin{matrix} & \\ & \\ \end{matrix} &\ddots & \\ & & \lambda_{n} \\ \end{pmatrix},

    其中\lambda_{i} > 0,i = 1,2,\cdots,n.正定\Rightarrow {kA}(k >0),A^{T},A^{- 1},A^{*}正定; |A| > 0,A可逆;a_{{ii}} >0,且|A_{{ii}}| > 0

    概率论和数理统计

    随机事件和概率

    1.事件的关系与运算

    (1) 子事件:A \subset B,若A发生,则B发生。

    (2) 相等事件:A = B,即A \subset B,且B \subset A

    (3) 和事件:A\bigcup B(或A + B),AB中至少有一个发生。

    (4) 差事件:A - BA发生但B不发生。

    (5) 积事件:A\bigcap B(或{AB}),AB同时发生。

    (6) 互斥事件(互不相容):A\bigcap B=\varnothing

    (7) 互逆事件(对立事件):
    A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}
    2.运算律
    (1) 交换律:A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A
    (2) 结合律:(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)
    (3) 分配律:(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)
    3.德\centerdot摩根律

    \overline{A\bigcup B}=\bar{A}\bigcap \bar{B} \overline{A\bigcap B}=\bar{A}\bigcup \bar{B}
    4.完全事件组

    {{A}_{1}}{{A}_{2}}\cdots {{A}_{n}}两两互斥,且和事件为必然事件,即{{A}_{i}}\bigcap {{A}_{j}}=\varnothing, i\ne j ,\underset{i=1}{\overset{n}{\mathop \bigcup }}\,=\Omega

    5.概率的基本公式
    (1)条件概率:
    P(B|A)=\frac{P(AB)}{P(A)},表示A发生的条件下,B发生的概率。
    (2)全概率公式:
    P(A)=\sum\limits_{i=1}^{n}{P(A|{{B}_{i}})P({{B}_{i}}),{{B}_{i}}{{B}_{j}}}=\varnothing ,i\ne j,\underset{i=1}{\overset{n}{\mathop{\bigcup }}}\,{{B}_{i}}=\Omega
    (3) Bayes公式:

    P({{B}_{j}}|A)=\frac{P(A|{{B}_{j}})P({{B}_{j}})}{\sum\limits_{i=1}^{n}{P(A|{{B}_{i}})P({{B}_{i}})}},j=1,2,\cdots ,n
    注:上述公式中事件{{B}_{i}}的个数可为可列个。
    (4)乘法公式:
    P({{A}_{1}}{{A}_{2}})=P({{A}_{1}})P({{A}_{2}}|{{A}_{1}})=P({{A}_{2}})P({{A}_{1}}|{{A}_{2}})
    P({{A}_{1}}{{A}_{2}}\cdots {{A}_{n}})=P({{A}_{1}})P({{A}_{2}}|{{A}_{1}})P({{A}_{3}}|{{A}_{1}}{{A}_{2}})\cdots P({{A}_{n}}|{{A}_{1}}{{A}_{2}}\cdots {{A}_{n-1}})

    6.事件的独立性
    (1)AB相互独立\Leftrightarrow P(AB)=P(A)P(B)
    (2)ABC两两独立
    \Leftrightarrow P(AB)=P(A)P(B);P(BC)=P(B)P(C) ;P(AC)=P(A)P(C);
    (3)ABC相互独立
    \Leftrightarrow P(AB)=P(A)P(B); P(BC)=P(B)P(C) ;
    P(AC)=P(A)P(C) ; P(ABC)=P(A)P(B)P(C)

    7.独立重复试验

    将某试验独立重复n次,若每次实验中事件A发生的概率为p,则n次试验中A发生k次的概率为:
    P(X=k)=C_{n}^{k}{{p}^{k}}{{(1-p)}^{n-k}}
    8.重要公式与结论
    (1)P(\bar{A})=1-P(A)
    (2)P(A\bigcup B)=P(A)+P(B)-P(AB)
    P(A\bigcup B\bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)
    (3)P(A-B)=P(A)-P(AB)
    (4)P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}),
    P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B)
    (5)条件概率P(\centerdot |B)满足概率的所有性质,
    例如:. P({{\bar{A}}_{1}}|B)=1-P({{A}_{1}}|B)
    P({{A}_{1}}\bigcup {{A}_{2}}|B)=P({{A}_{1}}|B)+P({{A}_{2}}|B)-P({{A}_{1}}{{A}_{2}}|B)
    P({{A}_{1}}{{A}_{2}}|B)=P({{A}_{1}}|B)P({{A}_{2}}|{{A}_{1}}B)
    (6)若{{A}_{1}},{{A}_{2}},\cdots ,{{A}_{n}}相互独立,则P(\bigcap\limits_{i=1}^{n}{{{A}_{i}}})=\prod\limits_{i=1}^{n}{P({{A}_{i}})},
    P(\bigcup\limits_{i=1}^{n}{{{A}_{i}}})=\prod\limits_{i=1}^{n}{(1-P({{A}_{i}}))}
    (7)互斥、互逆与独立性之间的关系:
    AB互逆\Rightarrow AB互斥,但反之不成立,AB互斥(或互逆)且均非零概率事件\Rightarrow $$AB不独立.
    (8)若{{A}_{1}},{{A}_{2}},\cdots ,{{A}_{m}},{{B}_{1}},{{B}_{2}},\cdots ,{{B}_{n}}相互独立,则f({{A}_{1}},{{A}_{2}},\cdots ,{{A}_{m}})g({{B}_{1}},{{B}_{2}},\cdots ,{{B}_{n}})也相互独立,其中f(\centerdot ),g(\centerdot )分别表示对相应事件做任意事件运算后所得的事件,另外,概率为1(或0)的事件与任何事件相互独立.

    随机变量及其概率分布

    1.随机变量及概率分布

    取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律

    2.分布函数的概念与性质

    定义: F(x) = P(X \leq x), - \infty < x < + \infty

    性质:(1)0 \leq F(x) \leq 1

    (2) F(x)单调不减

    (3) 右连续F(x + 0) = F(x)

    (4) F( - \infty) = 0,F( + \infty) = 1

    3.离散型随机变量的概率分布

    P(X = x_{i}) = p_{i},i = 1,2,\cdots,n,\cdots\quad\quad p_{i} \geq 0,\sum_{i =1}^{\infty}p_{i} = 1

    4.连续型随机变量的概率密度

    概率密度f(x);非负可积,且:

    (1)f(x) \geq 0,

    (2)\int_{- \infty}^{+\infty}{f(x){dx} = 1}

    (3)xf(x)的连续点,则:

    f(x) = F'(x)分布函数F(x) = \int_{- \infty}^{x}{f(t){dt}}

    5.常见分布

    (1) 0-1分布:P(X = k) = p^{k}{(1 - p)}^{1 - k},k = 0,1

    (2) 二项分布:B(n,p)P(X = k) = C_{n}^{k}p^{k}{(1 - p)}^{n - k},k =0,1,\cdots,n

    (3) Poisson分布:p(\lambda)P(X = k) = \frac{\lambda^{k}}{k!}e^{-\lambda},\lambda > 0,k = 0,1,2\cdots

    (4) 均匀分布U(a,b)f(x) = \{ \begin{matrix} & \frac{1}{b - a},a < x< b \\ & 0, \\ \end{matrix}

    (5) 正态分布:N(\mu,\sigma^{2}): \varphi(x) =\frac{1}{\sqrt{2\pi}\sigma}e^{- \frac{{(x - \mu)}^{2}}{2\sigma^{2}}},\sigma > 0,\infty < x < + \infty

    (6)指数分布:E(\lambda):f(x) =\{ \begin{matrix} & \lambda e^{-{λx}},x > 0,\lambda > 0 \\ & 0, \\ \end{matrix}

    (7)几何分布:G(p):P(X = k) = {(1 - p)}^{k - 1}p,0 < p < 1,k = 1,2,\cdots.

    (8)超几何分布: H(N,M,n):P(X = k) = \frac{C_{M}^{k}C_{N - M}^{n -k}}{C_{N}^{n}},k =0,1,\cdots,min(n,M)

    6.随机变量函数的概率分布

    (1)离散型:P(X = x_{1}) = p_{i},Y = g(X)

    则: P(Y = y_{j}) = \sum_{g(x_{i}) = y_{i}}^{}{P(X = x_{i})}

    (2)连续型:X\tilde{\ }f_{X}(x),Y = g(x)

    则:F_{y}(y) = P(Y \leq y) = P(g(X) \leq y) = \int_{g(x) \leq y}^{}{f_{x}(x)dx}f_{Y}(y) = F'_{Y}(y)

    7.重要公式与结论

    (1) X\sim N(0,1) \Rightarrow \varphi(0) = \frac{1}{\sqrt{2\pi}},\Phi(0) =\frac{1}{2}, \Phi( - a) = P(X \leq - a) = 1 - \Phi(a)

    (2) X\sim N\left( \mu,\sigma^{2} \right) \Rightarrow \frac{X -\mu}{\sigma}\sim N\left( 0,1 \right),P(X \leq a) = \Phi(\frac{a -\mu}{\sigma})

    (3) X\sim E(\lambda) \Rightarrow P(X > s + t|X > s) = P(X > t)

    (4) X\sim G(p) \Rightarrow P(X = m + k|X > m) = P(X = k)

    (5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。

    (6) 存在既非离散也非连续型随机变量。

    多维随机变量及其分布

    1.二维随机变量及其联合分布

    由两个随机变量构成的随机向量(X,Y), 联合分布为F(x,y) = P(X \leq x,Y \leq y)

    2.二维离散型随机变量的分布

    (1) 联合概率分布律 P\{ X = x_{i},Y = y_{j}\} = p_{{ij}};i,j =1,2,\cdots

    (2) 边缘分布律 p_{i \cdot} = \sum_{j = 1}^{\infty}p_{{ij}},i =1,2,\cdots p_{\cdot j} = \sum_{i}^{\infty}p_{{ij}},j = 1,2,\cdots

    (3) 条件分布律 P\{ X = x_{i}|Y = y_{j}\} = \frac{p_{{ij}}}{p_{\cdot j}}
    P\{ Y = y_{j}|X = x_{i}\} = \frac{p_{{ij}}}{p_{i \cdot}}

    3. 二维连续性随机变量的密度

    (1) 联合概率密度f(x,y):

    1. f(x,y) \geq 0

    2. \int_{- \infty}^{+ \infty}{\int_{- \infty}^{+ \infty}{f(x,y)dxdy}} = 1

    (2) 分布函数:F(x,y) = \int_{- \infty}^{x}{\int_{- \infty}^{y}{f(u,v)dudv}}

    (3) 边缘概率密度: f_{X}\left( x \right) = \int_{- \infty}^{+ \infty}{f\left( x,y \right){dy}} f_{Y}(y) = \int_{- \infty}^{+ \infty}{f(x,y)dx}

    (4) 条件概率密度:f_{X|Y}\left( x \middle| y \right) = \frac{f\left( x,y \right)}{f_{Y}\left( y \right)} f_{Y|X}(y|x) = \frac{f(x,y)}{f_{X}(x)}

    4.常见二维随机变量的联合分布

    (1) 二维均匀分布:(x,y) \sim U(D) ,f(x,y) = \begin{cases} \frac{1}{S(D)},(x,y) \in D \\ 0,其他 \end{cases}

    (2) 二维正态分布:(X,Y)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho),(X,Y)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho)

    f(x,y) = \frac{1}{2\pi\sigma_{1}\sigma_{2}\sqrt{1 - \rho^{2}}}.\exp\left\{ \frac{- 1}{2(1 - \rho^{2})}\lbrack\frac{{(x - \mu_{1})}^{2}}{\sigma_{1}^{2}} - 2\rho\frac{(x - \mu_{1})(y - \mu_{2})}{\sigma_{1}\sigma_{2}} + \frac{{(y - \mu_{2})}^{2}}{\sigma_{2}^{2}}\rbrack \right\}

    5.随机变量的独立性和相关性

    XY的相互独立:\Leftrightarrow F\left( x,y \right) = F_{X}\left( x \right)F_{Y}\left( y \right):

    \Leftrightarrow p_{{ij}} = p_{i \cdot} \cdot p_{\cdot j}(离散型)
    \Leftrightarrow f\left( x,y \right) = f_{X}\left( x \right)f_{Y}\left( y \right)(连续型)

    XY的相关性:

    相关系数\rho_{{XY}} = 0时,称XY不相关,
    否则称XY相关

    6.两个随机变量简单函数的概率分布

    离散型: P\left( X = x_{i},Y = y_{i} \right) = p_{{ij}},Z = g\left( X,Y \right) 则:

    P(Z = z_{k}) = P\left\{ g\left( X,Y \right) = z_{k} \right\} = \sum_{g\left( x_{i},y_{i} \right) = z_{k}}^{}{P\left( X = x_{i},Y = y_{j} \right)}

    连续型: \left( X,Y \right) \sim f\left( x,y \right),Z = g\left( X,Y \right)
    则:

    F_{z}\left( z \right) = P\left\{ g\left( X,Y \right) \leq z \right\} = \iint_{g(x,y) \leq z}^{}{f(x,y)dxdy}f_{z}(z) = F'_{z}(z)

    7.重要公式与结论

    (1) 边缘密度公式: f_{X}(x) = \int_{- \infty}^{+ \infty}{f(x,y)dy,}
    f_{Y}(y) = \int_{- \infty}^{+ \infty}{f(x,y)dx}

    (2) P\left\{ \left( X,Y \right) \in D \right\} = \iint_{D}^{}{f\left( x,y \right){dxdy}}

    (3) 若(X,Y)服从二维正态分布N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},\rho)
    则有:

    1. X\sim N\left( \mu_{1},\sigma_{1}^{2} \right),Y\sim N(\mu_{2},\sigma_{2}^{2}).

    2. XY相互独立\Leftrightarrow \rho = 0,即XY不相关。

    3. C_{1}X + C_{2}Y\sim N(C_{1}\mu_{1} + C_{2}\mu_{2},C_{1}^{2}\sigma_{1}^{2} + C_{2}^{2}\sigma_{2}^{2} + 2C_{1}C_{2}\sigma_{1}\sigma_{2}\rho)

    4. {\ X}关于Y=y的条件分布为: N(\mu_{1} + \rho\frac{\sigma_{1}}{\sigma_{2}}(y - \mu_{2}),\sigma_{1}^{2}(1 - \rho^{2}))

    5. Y关于X = x的条件分布为: N(\mu_{2} + \rho\frac{\sigma_{2}}{\sigma_{1}}(x - \mu_{1}),\sigma_{2}^{2}(1 - \rho^{2}))

    (4) 若XY独立,且分别服从N(\mu_{1},\sigma_{1}^{2}),N(\mu_{1},\sigma_{2}^{2}),
    则:\left( X,Y \right)\sim N(\mu_{1},\mu_{2},\sigma_{1}^{2},\sigma_{2}^{2},0),

    C_{1}X + C_{2}Y\tilde{\ }N(C_{1}\mu_{1} + C_{2}\mu_{2},C_{1}^{2}\sigma_{1}^{2} C_{2}^{2}\sigma_{2}^{2}).

    (5) 若XY相互独立,f\left( x \right)g\left( x \right)为连续函数, 则f\left( X \right)g(Y)也相互独立。

    随机变量的数字特征

    1.数学期望

    离散型:P\left\{ X = x_{i} \right\} = p_{i},E(X) = \sum_{i}^{}{x_{i}p_{i}}

    连续型: X\sim f(x),E(X) = \int_{- \infty}^{+ \infty}{xf(x)dx}

    性质:

    (1) E(C) = C,E\lbrack E(X)\rbrack = E(X)

    (2) E(C_{1}X + C_{2}Y) = C_{1}E(X) + C_{2}E(Y)

    (3) 若XY独立,则E(XY) = E(X)E(Y)

    (4)\left\lbrack E(XY) \right\rbrack^{2} \leq E(X^{2})E(Y^{2})

    2.方差D(X) = E\left\lbrack X - E(X) \right\rbrack^{2} = E(X^{2}) - \left\lbrack E(X) \right\rbrack^{2}

    3.标准差\sqrt{D(X)}

    4.离散型:D(X) = \sum_{i}^{}{\left\lbrack x_{i} - E(X) \right\rbrack^{2}p_{i}}

    5.连续型:D(X) = {\int_{- \infty}^{+ \infty}\left\lbrack x - E(X) \right\rbrack}^{2}f(x)dx

    性质:

    (1)\ D(C) = 0,D\lbrack E(X)\rbrack = 0,D\lbrack D(X)\rbrack = 0

    (2) XY相互独立,则D(X \pm Y) = D(X) + D(Y)

    (3)\ D\left( C_{1}X + C_{2} \right) = C_{1}^{2}D\left( X \right)

    (4) 一般有 D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X,Y) = D(X) + D(Y) \pm 2\rho\sqrt{D(X)}\sqrt{D(Y)}

    (5)\ D\left( X \right) < E\left( X - C \right)^{2},C \neq E\left( X \right)

    (6)\ D(X) = 0 \Leftrightarrow P\left\{ X = C \right\} = 1

    6.随机变量函数的数学期望

    (1) 对于函数Y = g(x)

    X为离散型:P\{ X = x_{i}\} = p_{i},E(Y) = \sum_{i}^{}{g(x_{i})p_{i}}

    X为连续型:X\sim f(x),E(Y) = \int_{- \infty}^{+ \infty}{g(x)f(x)dx}

    (2) Z = g(X,Y);\left( X,Y \right)\sim P\{ X = x_{i},Y = y_{j}\} = p_{{ij}}; E(Z) = \sum_{i}^{}{\sum_{j}^{}{g(x_{i},y_{j})p_{{ij}}}} \left( X,Y \right)\sim f(x,y);E(Z) = \int_{- \infty}^{+ \infty}{\int_{- \infty}^{+ \infty}{g(x,y)f(x,y)dxdy}}

    7.协方差

    Cov(X,Y) = E\left\lbrack (X - E(X)(Y - E(Y)) \right\rbrack

    8.相关系数

    \rho_{{XY}} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}},k阶原点矩 E(X^{k});
    k阶中心矩 E\left\{ {\lbrack X - E(X)\rbrack}^{k} \right\}

    性质:

    (1)\ Cov(X,Y) = Cov(Y,X)

    (2)\ Cov(aX,bY) = abCov(Y,X)

    (3)\ Cov(X_{1} + X_{2},Y) = Cov(X_{1},Y) + Cov(X_{2},Y)

    (4)\ \left| \rho\left( X,Y \right) \right| \leq 1

    (5) \ \rho\left( X,Y \right) = 1 \Leftrightarrow P\left( Y = aX + b \right) = 1 ,其中a > 0

    \rho\left( X,Y \right) = - 1 \Leftrightarrow P\left( Y = aX + b \right) = 1
    ,其中a < 0

    9.重要公式与结论

    (1)\ D(X) = E(X^{2}) - E^{2}(X)

    (2)\ Cov(X,Y) = E(XY) - E(X)E(Y)

    (3) \left| \rho\left( X,Y \right) \right| \leq 1,\rho\left( X,Y \right) = 1 \Leftrightarrow P\left( Y = aX + b \right) = 1,其中a > 0

    \rho\left( X,Y \right) = - 1 \Leftrightarrow P\left( Y = aX + b \right) = 1,其中a < 0

    (4) 下面5个条件互为充要条件:

    \rho(X,Y) = 0 \Leftrightarrow Cov(X,Y) = 0 \Leftrightarrow E(X,Y) = E(X)E(Y) \Leftrightarrow D(X + Y) = D(X) + D(Y) \Leftrightarrow D(X - Y) = D(X) + D(Y)

    注:XY独立为上述5个条件中任何一个成立的充分条件,但非必要条件。

    数理统计的基本概念

    1.基本概念

    总体:研究对象的全体,它是一个随机变量,用X表示。

    个体:组成总体的每个基本元素。

    简单随机样本:来自总体Xn个相互独立且与总体同分布的随机变量X_{1},X_{2}\cdots,X_{n},称为容量为n的简单随机样本,简称样本。

    统计量:设X_{1},X_{2}\cdots,X_{n},是来自总体X的一个样本,g(X_{1},X_{2}\cdots,X_{n}))是样本的连续函数,且g()中不含任何未知参数,则称g(X_{1},X_{2}\cdots,X_{n})为统计量。

    样本均值:\overline{X} = \frac{1}{n}\sum_{i = 1}^{n}X_{i}

    样本方差:S^{2} = \frac{1}{n - 1}\sum_{i = 1}^{n}{(X_{i} - \overline{X})}^{2}

    样本矩:样本k阶原点矩:A_{k} = \frac{1}{n}\sum_{i = 1}^{n}X_{i}^{k},k = 1,2,\cdots

    样本k阶中心矩:B_{k} = \frac{1}{n}\sum_{i = 1}^{n}{(X_{i} - \overline{X})}^{k},k = 1,2,\cdots

    2.分布

    \chi^{2}分布:\chi^{2} = X_{1}^{2} + X_{2}^{2} + \cdots + X_{n}^{2}\sim\chi^{2}(n),其中X_{1},X_{2}\cdots,X_{n},相互独立,且同服从N(0,1)

    t分布:T = \frac{X}{\sqrt{Y/n}}\sim t(n) ,其中X\sim N\left( 0,1 \right),Y\sim\chi^{2}(n),XY 相互独立。

    F分布:F = \frac{X/n_{1}}{Y/n_{2}}\sim F(n_{1},n_{2}),其中X\sim\chi^{2}\left( n_{1} \right),Y\sim\chi^{2}(n_{2}),XY相互独立。

    分位数:若P(X \leq x_{\alpha}) = \alpha,则称x_{\alpha}X\alpha分位数

    3.正态总体的常用样本分布

    (1) 设X_{1},X_{2}\cdots,X_{n}为来自正态总体N(\mu,\sigma^{2})的样本,

    \overline{X} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},S^{2} = \frac{1}{n - 1}\sum_{i = 1}^{n}{{(X_{i} - \overline{X})}^{2},}则:

    1. \overline{X}\sim N\left( \mu,\frac{\sigma^{2}}{n} \right){\ \ }或者\frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}}\sim N(0,1)

    2. \frac{(n - 1)S^{2}}{\sigma^{2}} = \frac{1}{\sigma^{2}}\sum_{i = 1}^{n}{{(X_{i} - \overline{X})}^{2}\sim\chi^{2}(n - 1)}

    3. \frac{1}{\sigma^{2}}\sum_{i = 1}^{n}{{(X_{i} - \mu)}^{2}\sim\chi^{2}(n)}

    4){\ \ }\frac{\overline{X} - \mu}{S/\sqrt{n}}\sim t(n - 1)

    4.重要公式与结论

    (1) 对于\chi^{2}\sim\chi^{2}(n),有E(\chi^{2}(n)) = n,D(\chi^{2}(n)) = 2n;

    (2) 对于T\sim t(n),有E(T) = 0,D(T) = \frac{n}{n - 2}(n > 2)

    (3) 对于F\tilde{\ }F(m,n),有 \frac{1}{F}\sim F(n,m),F_{a/2}(m,n) = \frac{1}{F_{1 - a/2}(n,m)};

    (4) 对于任意总体X,有 E(\overline{X}) = E(X),E(S^{2}) = D(X),D(\overline{X}) = \frac{D(X)}{n}

    相关文章

      网友评论

          本文标题:机器学习数学基础复习

          本文链接:https://www.haomeiwen.com/subject/hgowcqtx.html