绿宝书读书笔记(Chapter 3)

作者: 非常暴龙兽 | 来源:发表于2019-05-18 10:19 被阅读0次

绿宝书读书笔记(Chapter 3)
elastic search in action
精明而危险的隆巴德
天鹅绝唱
来历不明的指控
身份不明的对手
高效记单词 - Word Power Made Easy - 读
维拉小姐的秘密
《flask Web 开发》读书笔记 & chapter
（飘）随风而逝目录

Chapter 3 Calculus and Linear Algebra

Spend some time reviewing your college textbooks!

Limits and derivatives

derivative of $y = \ln {x^{\ln x}}$ ？
let $u = \ln y=\ln (\ln {x^{\ln x}})$
we have
$\frac{du}{dx} = \frac{d(\ln y)}{dx} = \frac{1}{y} \frac{dy}{dx} = \frac{d \ln (\ln {x^{\ln x}})}{d x} = \frac{1}{x}\ln (\ln x) + \ln x \times \frac{d \ln \ln x}{d x}$
$\frac{du}{dx}= \frac{1}{y} \frac{dy}{dx}= \frac{1}{x}\ln (\ln x) + \ln x \times \frac{1}{\ln x}\times \frac{1}{x}= \frac{1}{x}\ln (\ln x) + \frac{1}{x}$
$\frac{dy}{dx} = y \times [\frac{1}{x}\ln (\ln x) + \frac{1}{x}]=\frac{\ln x ^ {\ln x}}{x}[1 + \ln (\ln x)]$
Maximum and minimum
$e^\pi$ 和 $\pi^e$ 谁更大？
构造函数 $f(x)=\frac{\ln x }{x}$ ，则 $f'(x) = \frac{1-\ln x}{x^2}$ 对于 $x>e$ 恒为负，单调减，于是有 $\frac{\ln e}{e} > \frac{\ln \pi}{\pi}$ ，整理得 $e^\pi > \pi^e$
另一种方法： $e^x > 1+x$ ，令 $x=\frac{\pi}{e}-1$ 代入得 $e^{\frac{\pi}{e}-1}>1 + \frac{\pi}{e}-1$ ，即 $e^{\frac{\pi}{e}}/e > {\pi}/{e}$ ，于是 $e^{\frac{\pi}{e}}>\pi$ ，即 $e^\pi > \pi^e$
L'Hospital's rule
例题比较trivial，不写了

Integration

Basics of integration
1,
$d(uv) = udv + vdu$
$d(x\ln x) = (x\times 1/2)dx + \ln xdx$
$\int \ln x dx = \int d(x\ln x) -\int dx = x\ln x -x + C$
2,
$\sec'x = \sec x \tan x$
$\tan'x = \sec^2 x$
so $\frac{d\ln|\sec x + \tan x|}{dx} = \sec x$
applications of integration
1,
两个半径为 $1$ 的圆柱十字交叉，求重叠部分体积。
$V = 2\times \int_0^r [(2r)^2-(2z)^2]dz=16/3r^3=16/3$
2,
0点之前开始均匀下雪，铲雪机每分钟铲雪体积恒定。1小时铲了2公里，3小时铲了三公里，问什么时候开始下的雪？
设在0点之前T时开始下雪，则 $\int_0^1 \frac{C}{T+t} dt = 2$ ， $\int_0^2 \frac{C}{T+t} dt = 3$
消去C，有 $(\frac{1+T}{T})^3 = (\frac{2+T}{T})^2$ 解出 $T = \frac{\sqrt 5 -1}{2}$
expected value using integration
$X \sim N(0, 1)$ ，then $E[X|X>0] = \int_0 ^\infty xf(x)dx = \int_0 ^\infty x\frac{1}{\sqrt {2\pi}} e^{-1/2x^2}dx=\int_{-\infty} ^0 - \frac{1}{\sqrt{2\pi}}e^u du = \frac{1}{\sqrt{2\pi}}$

Partial Derivatives and Multiple Integrals

Calculate
$\int_{-\infty}^{\infty} e^{-x^2/2}dx \int_{-\infty}^{\infty} e^{-y^2/2}dy = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} e^{-(x^2 + y^2)/2}dxdy = \int_0^\infty \int_o^{2\pi}e^{-(r^2\cos^2\theta+r^2\sin^2\theta)/2}rdrd\theta$
$=\int_0^\infty \int_0^{2\pi} e^{-r^2/2}rdrd\theta = -\int_0^\infty e^{-r^2/2}d(-\frac{r^2}{2})\int_0^{2\pi}d\theta =2\pi$
由 $x,y$ 对称性可知， $\int _{-\infty} ^{\infty} e^{-x^2/2}dx =\sqrt{2\pi}$ ，于是 $\int _0 ^{\infty} e^{-x^2/2}dx =\sqrt{\frac{\pi}{2}}$

Important Calculus Methods

Tayler's series
$f(x) = f(x_0)+f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n+...$
A
计算 $i^i$ ：欧拉方程是这么证的：将 $e^i\theta, \cos\theta,i\sin\theta$ 全部泰勒展开，自然可以得出 $e^{i\theta}=\cos\theta + i\sin\theta$ ，然后令 $\theta = \pi/2$ 得到 $e^{1\pi/2} = i$ ，于是 $\ln i = i\pi/2$ ，于是 $\ln(i^i)=i\ln i=i(i\pi/2)=-\pi/2$ ，所以 $i^i = e^{-\pi/2}$
B
证明 $(1+x)^n \geq1+nx$ for all $x>-1, n\geq2$
对 $f(x)=(1+x)^n$ 在 $x_0=0$ 处进行泰勒展开即可，能发现前两项就是 $1+nx$ ，余项为正，得证
Newton's method
A
$x_{n+1}=x_n - \frac{f(x_n)}{f'(x_n)}$ 牛顿迭代
解方程 $x^2=37$ ，先给出 $f(x)=x^2-37$ ，猜测 $x_0=6$ 然后 $x_1=x_0 -\frac{f(x_0)}{f'(x_0)}=6-\frac{6^2 - 37}{2\times 6} = 6.083$
或者对 $f(x)=\sqrt x$ 在 $x=36$ 处泰勒展开， $f(37)\approx f(36)+f'(36)(37-36)=6.083$
再或者 $(6+y)^2 = 37，y^2+12y-1=0$ ，忽略二阶项，即 $12y-1=0$ ， $y = 0.083$
B
求根的数值方法？
Bisection method： $f(\frac{a_n + b_n}{2})$ ，
Newton's method： $x_{n+1}=x_n - \frac{f(x_n)}{f'(x_n)}$ ，
Secant method： $x_{n+1}=x_n - \frac{x_n - x_{n-1}}{f(x_n)-f(x_{n-1})}f(x_n)$ ，即用线性近似来代替牛顿法中的求导，对于不容易取得导函数的形式很有用。
Lagrange multipliers
函数 $f(x_1, x_2,...x_n)$ 约束条件
$g_1((x_1, x_2,...x_n), g_2((x_1, x_2,...x_n),...g_k((x_1, x_2,...x_n)$
取乘数 $\lambda_1,\lambda_2,...\lambda_k$
列k个方程 $\nabla_{x_i} f(x) + \lambda_i \nabla_{x_i} g_i(x)=0$
可以解出极值点的 $x_1,x_2,...x_n$ 和 $\lambda$

Ordinary differential equations

Separable differential aquations
$\frac{dy}{dx}=g(x)h(y)$
$\int \frac{dy}{h(y)}=\int g(x)dx$
例题： $y'=\frac{x-y}{x+y}$
let $y = z - x$ ，代入原方程可解出 $\int zdz = \int 2xdx + C$
First-order linear differential equations
$\frac{dy}{dx}+P(x)y=Q(x)$
思路：Integrating factor $I(x)=e^{\int P(x)dx}$ so that $\frac{dI(x)}{dx}=I(x)P(x)$
we have $IQ=I(y'+Py)=Iy'+IPy=Iy'+I'y=(Iy)'$
then $y = \frac{\int I(x)Q(x)dx}{I(x)}$

又有了那种小学六年级突然学会乘法的感觉

例题：
$y' + \frac{y}{x}=\frac{1}{x^2}$ ， $y(1)=1, x>0$
solution： $P(x)=1/x, Q(x)=1/x^2$
so $I(x)=e^{\int P(x)dx}=e^{\ln x}=x$
$I(x)Q(x)=1/x$
$y=\frac{\int I(x)Q(x)dx}{I(x)}=\frac{\int (1/x)dx}{x}=\frac{\ln x + C}{x}$
for $y(1)=1, x>0$ , we have $C=1$

Homogeneous linear equations 齐次线性方程
$a(x)\frac{d^2y}{dx^2}+b(x)\frac{dy}{dx}+c(x)=0$
如果 $y_1,y_2$ 是线性无关的两个解，那么任意的 $y(x)=c_1y_1(x)+c_2y_2(x)$ 都是它的解。
解方程 $ar^2+br+c=0$ ，如果：

$r_1,r_2$ 都是实数， $r_1\ne r_2$ 那么通解 $y=c_1e^{r_1x}+c_2e^{r_2x}$
$r_1,r_2$ 都是实数， $r_1= r_2$ 那么通解 $y=c_1e^{rx}+c_2xe^{rx}$
$r_1,r_2$ 是复数 $\alpha \pm i\beta$ 那么通解 $y=e^{\alpha x}(c_1\cos\beta x+c_2\sin\beta x)$

Nonhomogeneous linear equations
$a(x)\frac{d^2y}{dx^2}+b(x)\frac{dy}{dx}+c(x)=d(x)$
思路：找到一个特解 $y_p(x)$ 满足 $a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+c=d$ ，找到一个通解 $y_g(x)$ 满足 $a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+c=0$ 则原方程的通解 $y=y_g+y_p$

Linear Algebra

Vectors: $n\times 1$ column, array
Inner product/ dot product
Euclidean norm
$||x||=\sqrt{\sum_{i=1}^n x_i^2}=\sqrt{x^T x}$
$||x-y||=\sqrt{(x-y)^T(x-y)}$
$\cos \theta=\frac{x^Ty}{||x||||y||}$
两个向量的相关系数 $\rho = \cos \theta$
QR decomposition
将矩阵分解成一个正规正交矩阵Q与上三角形矩阵R。
例题：linear least squares regression线性最小二乘法回归拟合using matrices
$y_i=\beta_0 x_{i,0}+\beta_1 x_{i,1}+...+\beta_{p-i}x_{i,p-i}+\epsilon _i$ ，对全部 $i=1,...,n$ ，
拦截项 $x_{i,0}$ 恒等于 $1$
外部项 $x_{i,1},...,x_{i,p-1}$
现在要找到一组 $\beta = [\beta_0,\beta_1,...,\beta_{p-1}]^T$
使得 $\sum_{i=1}^n\epsilon_i^2$ 最小
取 $n\times1$ 的列向量 $Y=[Y_1,Y_2,...,Y_n]^T$ 和 $\epsilon=[\epsilon_1,\epsilon_2,...,\epsilon_n]^T$
$n\times p$ 矩阵 $X$ ，使得 $Y=X\beta + \epsilon$ 则：
$\min_\beta \sum_{i=1}^n\epsilon_i^2=\min_\beta(Y-X\beta)^T(Y-X\beta)$
取 $f(\beta)=\beta(Y-X\beta)^T(Y-X\beta)$
令 $f'(\beta)=0$ 则 $(X^TX)\beta=X^TY$
化成了 $A\beta=b$ 的形式，有 $\beta = (X^TX)^{-1}X^TY$
这件事的前提：

X和Y有线性关系 $Y=X\beta + \epsilon$
期望 $E[\epsilon_i]=0$
方差为常数 $var(\epsilon_i)=\sigma^2$ ，非相关误差 $E[\epsilon_i \epsilon_j]=0, i\ne j$
no perfect multicollinearity 不是完美的多重共线性问题： $\rho (x_i,x_j)\ne \pm 1, i\ne j$ 其中 $\rho$ 是回归相关系数
$\epsilon$ 和 $x_i$ 彼此独立

Determinant, eigenvalue and eigenvector
行列式 $\mathrm{det}(A)$ ，特征值 $\lambda$ ，特征向量 $x$
$\mathrm{det}(A^T)=\mathrm{det}(A),\mathrm{det}(AB)=\mathrm{det}(A)\mathrm{det}(B),\mathrm{det}(A^{-1})=\frac{1}{\mathrm{det}(A)}$
矩阵特征方程 $\mathrm{det}(A-\lambda I)=0$ 的实根即为矩阵的特征值。
$\mathrm{det}A = \lambda_1 \lambda_2 ...\lambda_n$ ， $\sum_{i=1}^n \lambda_i = \mathrm{trace}(A)$
可对角化矩阵，当且仅当各个特征值线性无关。各个特征值即为对角矩阵的每一项。
Positive semidefinite/definite matrix 半正定/正定矩阵
正定矩阵：

$x^TAx>0$ 对所有非负 $n\times 1$ 向量
所有特征值都为正
all the upper left (or lower right) submatrics $A_K，K=1,...,n$ have positive determinants
半正定矩阵：
$x^TAx>0$ 对所有 $n\times 1$ 向量
所有特征值非负
all the upper left (or lower right) submatrics $A_K，K=1,...,n$ have non-negative determinants
例题：xyz三个向量，xy相关系数0.8，xz相关系数0.8，求yz相关系数范围？

构建如上矩阵，算出行列式为 $\mathrm{det(P)}=-\rho^2+1.28\rho-0.28$ ，令其大于零，解不等式即可。

LU decomposition and Cholesky decomposition
非奇异的 $n\times n$ 矩阵
LU: lower and upper triangular matrix
$A=LU$
可以解线性方程 $Ax=b$ ，
$LUx=b, Ux=y,Ly=b$
和计算A的行列式。
$\mathrm{det}(A)=\mathrm{det}(L)\mathrm{det}(U)=\Pi_{i=1}^nL_{i,i} \Pi_{j=1}^nU_{j,j}$ ,
Cholesky 分解是把一个对称正定的矩阵表示成一个下三角矩阵L和其转置的乘积的分解。它要求矩阵的所有特征值必须大于零，故分解的下三角的对角元也大于零。Cholesky分解法又称平方根法，是当A为实对称正定矩阵时，LU三角分解法的变形。

Cholesky decomposition is useful in Monte Carlo simulation to generate correlated random variables

举个例子：
two $N(0,1)$ random variables $x_1,x_2$ with a correlation $\rho$ can be generated from independent $N(0,1)$ random variables $z_1,z_2$ using:
$x_1=z_1, x_2=\rho z_1 + \sqrt{1-\rho^2}z_2$
推广到n维， $X=[X_1,X_2,...,X_n]^T \sim N(\mu,\Sigma)$ 其中mean $\mu=[\mu_1,\mu_2,...\mu_n]^T$ ，协方差矩阵 $\Sigma$ 可以分解成 $\Sigma=R^TR$ ，这样就有 $Z=[z_1,z_2,...,z_n]^T$ 其中 $z_i$ 都是彼此无关的随机数，服从 $N(0,1)$ 分布。这样可以生成一组 $X=\mu+R^TZ$ 使得 $X\sim N(\mu,\Sigma)$

singular value decomposition(SVD)
对于 $n\times p$ 的 $X$ ，有奇异值分解 $X=UDV^T$ 。也能用来生成上面的相关随机数。

绿宝书读书笔记(Chapter 3)
Chapter 3 Calculus and Linear Algebra Spend some time rev...
elastic search in action
此文是关于elasticsearch in action书部分重点读书笔记。 Chapter 2 Diving i...
精明而危险的隆巴德
《无人生还》读书笔记 3 Day 3，Page 5 - Page 6，Chapter 1, III 主题：精明而危...
天鹅绝唱
《无人生还》读书笔记 14。 Day 14，Page 40 - Page 44， Chapter 3。主题：天鹅...
来历不明的指控
《无人生还》读书笔记 13。 Day 13，Page 34 - Page 39， Chapter 3。主题：众人...
身份不明的对手
《无人生还》读书笔记 15。 Day 15，Page 44 - Page 50， Chapter 3。主题：UN...
高效记单词 - Word Power Made Easy - 读
Word Power Made Easy 读书笔记 - 词源学记单词不定期更新子章节导航 Chapter 3 ...
维拉小姐的秘密
《无人生还》读书笔记 2 Day 2，Page 3 - Page 4，Chapter 1， II。主题：维拉（V...
《flask Web 开发》读书笔记 & chapter
chapter 2 - chapter 3 - chapter 4 - chapter 5 - chapter 6...
（飘）随风而逝目录
·文案 ·chapter 1 ·chapter 2 ·chapter 3 .chapter 4