学习笔记DL001:数学符号、深度学习的概念

清醒疯子

由 清醒疯子 发布于 2017年11月17日

无人欣赏。

数学符号。

数和数组。a,标量(整数或实数)。a,向量。A,矩阵。A,张量。In,n行n列单位矩阵。I,维度蕴含上下文单位矩阵。e(n),标准基向量[0,...,0,10,...,0],其中索引n处值为1。diag(a),对象方阵,其中对象元素由a给定。a,标量随机变量。a,向量随机变量。A,矩阵随机变量。

集合和图。A,集合。R,实数集。{0,1},包含0和1集合。{0,1,...,n},包含0和n之间所有整数的集合。[a,b],包含a和b的实数区间。(a,b],不包含a但包含b的实数区间。AB,差集,即其元素包含于A但不包含于B。G,图。Pag(xi),图G中xi的父节点。

索引。ai,向量a的第i个元素,其中索引从1开始。a−i,除了第i个元素,a的所有元素。Ai,j,矩阵A的i,j元素。Ai,:,矩阵A的第i行。A:,i,矩阵A的第i列。Ai,j,k,3维张量A的(i,j,k)元素。A:,:,i,3维张量A的2维切片。ai,随机向量a的第i个元素。

线性代数操作。A⫟,矩阵A的转置。A+,A的Moore-Penrose伪造。A⨀B,A和B的逐元素乘积(Hadamard乘积)。det(A),A的行列式。

微积分。dy/dx,y关于x的导数。∂y/∂x,y关于x的偏导。∇xy,y关于x的梯度。∇Xy,y关于X的矩阵导数。∇Xy,y关于X求导后的张量。∂f/∂x,f:Rn->Rnn的Jacobian矩阵J∈R(m*n)。∇(2)(x)f(x)orH(f)(x),f在点x处的Hessian矩阵。∫f(x)dx,x整个域上的定积分。∫sf(x)dx,集合S上关于x定积分。

概率和信息论。a⊥b,a和b相互独立的随机变量。a⊥b|c,给定c后条件独立。P(a),离散变量上的概率分布。p(a),连续变量(或变量类型未指定时)上的概率分布。a~P,具有分布P的随机变量a。Ex~p[f(x)]orEf(x),f(x)关于P(x)的期望。Var(f(x)),f(x)在分布P(x)下的方差。Cov(f(x),g(x)),f(x)和g(x)在分布P(x)下的协方差。H(x),随机变量x的香浓熵。DKL(P||Q),P和Q的KL散度。N(x;μ,∑),均值为μ,协方差为∑,x上的高斯分布。f:A->B,定义域为A值域为B的函数f。f∘g,f和g的组合。f(x:θ),由θ参数化,关于x的函数(有时为简化表示,忽略θ,记为f(x))。logx,x的自然对数。σ(x),Logistic sigmoid,1/(1+exp(-x))。ζ(x),Softplus,log(1+exp(x))。||x||p,x的L(p)范数。||x||,x的L(2)范数。x+,x的正数部分,max(0,x)。1condition,如果条件为真则为1,否则为0。用函数f,参数是一个标量,应用到一个向量、矩阵或张量:f(x)、f(X)或f(X)。表示逐元素将f应用于数组。C=σ(X),对于所有合法的i、j和k,Ci,j,k=σ(Xi,j,k)。

数据集和分布。Pdata,数据生成分布。Ptrain,由训练集定义的经验分布。X,训练样本的集合。x(i),数据集的第i个样本(输入)。Y(i)或Y(i),监督学习中与x(i)关联的目标。X,m x n的矩阵,行Xi,:为输入样本x(i)。

古希腊时期,神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人类第一次构思可编程计算机,思考变智能(离造出第一计算机一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)众多实际应用、活跃研究课题领域,蓬勃发展。智能软件自动处理常规劳动、理解语音图像、帮助医学论断、支持基础科学研究。

早期,计算机相对简单问题迅速解决,形式化数学规则描述问题。挑战,很难形式化描述任务,如人说话、图中脸。解决方案,计算机从经验学习,根据层次化概念体系理解世界。概念通过相对简单概念关系定义。计算从经验获取知识,避免人类给计算机形式化指定知识。层次化概念让计算机构建简单概念学习复杂概念。概念建立在彼此之上的图,一张深(多层次)图。AI深度学习(deep learning)。

参考资料: 《深度学习》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

深度学习 机器学习