学习笔记DL001:数学符号、深度学习的概念

数学符号。

数和数组。𝑎，标量(整数或实数)。𝒂，向量。𝑨，矩阵。𝗔，张量。𝑰𝑛，𝑛行𝑛列单位矩阵。𝑰，维度蕴含上下文单位矩阵。𝑒⁽ⁿ⁾，标准基向量[0,…,0,10,…,0]，其中索引n处值为1。diag(𝒂)，对象方阵，其中对象元素由𝒂给定。a，标量随机变量。𝐚，向量随机变量。𝐀，矩阵随机变量。

集合和图。𝔸，集合。ℝ，实数集。{0,1}，包含0和1集合。{0,1,…,𝑛}，包含0和𝑛之间所有整数的集合。[𝑎,𝑏]，包含𝑎和𝑏的实数区间。(𝑎,𝑏]，不包含𝑎但包含𝑏的实数区间。𝔸\𝔹，差集，即其元素包含于𝔸但不包含于𝔹。𝒢，图。𝑃𝑎𝑔(𝑥𝑖)，图𝒢中𝑥𝑖的父节点。

索引。𝑎𝑖，向量𝑎的第𝑖个元素，其中索引从1开始。𝑎₋𝑖，除了第𝑖个元素，𝑎的所有元素。𝐴𝑖,𝑗，矩阵𝐴的𝑖,𝑗元素。𝐴𝑖,:，矩阵𝐴的第𝑖行。𝐴:,𝑖，矩阵𝐴的第𝑖列。𝘼𝑖,𝑗,k，3维张量𝘼的(𝑖,𝑗,𝑘)元素。𝘼:,:,𝑖，3维张量𝘼的2维切片。a𝑖，随机向量𝑎的第𝑖个元素。

线性代数操作。𝐴⫟，矩阵𝐴的转置。𝐴⁺，𝐴的Moore-Penrose伪造。𝐴⨀𝐵，𝐴和𝐵的逐元素乘积(Hadamard乘积)。𝑑𝑒𝑡(𝐴)，𝐴的行列式。

微积分。𝑑𝑦/𝑑𝑥，y关于x的导数。∂𝑦/∂𝑥，y关于x的偏导。∇𝑥𝑦，y关于x的梯度。∇𝑿𝑦，y关于𝑿的矩阵导数。∇𝐗𝑦，y关于𝐗求导后的张量。∂𝑓/∂𝑥，𝑓:ℝⁿ->ℝⁿⁿ的Jacobian矩阵𝑱∈ℝ⁽m*n⁾。∇⁽𝟸⁾₍x₎𝑓(x)or𝑯(𝑓)(x)，𝑓在点𝑥处的Hessian矩阵。∫𝑓(𝑥)𝑑𝑥，𝑥整个域上的定积分。∫𝕤𝑓(𝑥)𝑑𝑥，集合𝕊上关于𝑥定积分。

概率和信息论。a⊥b，a和b相互独立的随机变量。a⊥b|c，给定c后条件独立。P(a)，离散变量上的概率分布。p(a)，连续变量(或变量类型未指定时)上的概率分布。a_{P，具有分布P的随机变量a。Ex}p[𝑓(𝑥)]or𝔼𝑓(𝑥)，𝑓(𝑥)关于P(𝑥)的期望。Var(𝑓(𝑥))，𝑓(𝑥)在分布P(𝑥)下的方差。Cov(𝑓(𝑥),𝑔(𝑥))，𝑓(𝑥)和𝑔(𝑥)在分布P(𝑥)下的协方差。𝐻(𝑥)，随机变量𝑥的香浓熵。𝐷𝐾𝐿(𝑃||𝑄)，𝑃和𝑄的𝐾𝐿散度。𝑁(𝑥;𝛍,∑)，均值为𝛍，协方差为∑，𝑥上的高斯分布。𝑓:𝔸->𝔹，定义域为𝔸值域为𝔹的函数𝑓。𝑓∘𝑔，𝑓和𝑔的组合。𝑓(𝑥:θ)，由θ参数化，关于𝑥的函数(有时为简化表示，忽略θ，记为𝑓(𝑥))。log𝑥，𝑥的自然对数。σ(𝑥)，Logistic sigmoid，1/(1+exp(-𝑥))。𝜁(𝑥)，Softplus,log(1+exp(𝑥))。||𝑥||p，𝑥的L⁽p⁾范数。||𝑥||，𝑥的L⁽2⁾范数。𝑥⁺，𝑥的正数部分，max(0,𝑥)。1condition，如果条件为真则为1，否则为0。用函数𝑓，参数是一个标量，应用到一个向量、矩阵或张量:𝑓(𝑥)、𝑓(𝑋)或𝑓(𝖷)。表示逐元素将𝑓应用于数组。𝑪=σ(𝗫)，对于所有合法的i、j和k，𝗖i,j,k=σ(𝗫i,j,k)。

数据集和分布。𝑃data，数据生成分布。𝑃train，由训练集定义的经验分布。𝕏，训练样本的集合。𝑥⁽𝑖⁾，数据集的第𝑖个样本(输入)。𝒴⁽𝑖⁾或𝓨⁽𝑖⁾，监督学习中与𝑥⁽𝑖⁾关联的目标。𝑿，𝑚 x 𝑛的矩阵，行𝑿𝑖,:为输入样本𝑥⁽𝑖⁾。

古希腊时期，神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人类第一次构思可编程计算机，思考变智能(离造出第一计算机一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)众多实际应用、活跃研究课题领域，蓬勃发展。智能软件自动处理常规劳动、理解语音图像、帮助医学论断、支持基础科学研究。

早期，计算机相对简单问题迅速解决，形式化数学规则描述问题。挑战，很难形式化描述任务，如人说话、图中脸。解决方案，计算机从经验学习，根据层次化概念体系理解世界。概念通过相对简单概念关系定义。计算从经验获取知识，避免人类给计算机形式化指定知识。层次化概念让计算机构建简单概念学习复杂概念。概念建立在彼此之上的图，一张深(多层次)图。AI深度学习(deep learning)。

参考资料：
《深度学习》

欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi