卷积核(Convolution Kernel),也叫过滤器filter,由对应的权值W和偏置b体现

下图是3x3的卷积核在5x5的图像上做卷积的过程,就是矩阵做点乘之后的和 enter description here
第i个隐含单元的输入就是:$${W_{\rm{i}}}{x_{small}} + {b_i}$$,其中$${x_{small}}$$就时与过滤器filter过滤到的图片

另外上图的步长stride为1,就是每个filter每次移动的距离

卷积特征提取的原理

卷积特征提取利用了自然图像的统计平稳性,这一部分学习的特征也能用在另一部分上,所以对于这个图像上的所有位置,我们都能使用同样的学习特征。

当有多个filter时,我们就可以学到多个特征,例如:轮廓、颜色等

多个过滤器filter(卷积核)

例子如下 enter description here

一张图片有RGB三个颜色通道,则对应的filter过滤器也是三维的,图像经过每个filter做卷积运算后都会得到对应提取特征的图像,途中两个filter:W0和W1,输出的就是两个图像

这里的步长stride为2(一般就取2,3)

在原图上添加zero-padding,它是超参数,主要用于控制输出的大小

同样也是做卷积操作,以下图的一步卷积操作为例:
与w0[:,:,0]卷积:0x(-1)+0x0+0x1+0x1+0x0+1x(-1)+1x0+1x(-1)+2x0=-2
与w0[:,:,1]卷积:2x1+1x(-1)+1x1=2
与w0[:,:,2]卷积:1x(-1)+1x(-1)=-2
最终结果:-2+2+(-2)+1=-1 (1为偏置) enter description here

1)卷积层计算公式

$${\rm{x}}j^l = f(\sum\limits{i \in {M_j}} {{\rm{x}}i^{l - 1}*k{ij}^l + b_j^l} )$$

$${\rm{x}}_j^l$$ 表示第l层的第j个feature map(特征图)

可以对照到上面多个卷积核的例子看

j相当于是第几个卷积核

i相当于对应卷积核或是map的维度

2)卷积层梯度计算

paper中叫做使用BP计算当前层layer单元的灵敏度(sensitivity)

也就是误差的计算,之前我在BP神经网络中推导过,这里不再给出

当前层的第j个unit的灵敏度$$\delta _{\rm{j}}^l$$结果就是:先对下一层的节点(连接到当前层l的感兴趣节点的第l+1层的节点)的灵敏度求和(得到$$\delta _{\rm{j}}^{l + 1}$$),然后乘以这些连接对应的权值(连接第l层感兴趣节点和第l+1层节点的权值)W。再乘以当前层l的该神经元节点的输入u的激活函数f的导数值

$$\delta _{\rm{j}}^l = \beta _j^{l + 1}({f^'}(u_j^l) \circ up(\delta _{\rm{j}}^{l + 1}))$$

下采样的"weights"可以定义为常量β(可以查看下面Pooling层输出的表示)

up表示上采样操作,因为我们之前假设每个卷积层之后跟着一个Pooling层,所以反向传播需要进行上采样

up上采样可以使用克罗内克积(Kronecker)实现,如果A是一个 m x n 的矩阵,而B是一个 p x q 的矩阵,克罗内克积则是一个 mp x nq 的矩阵,$$up({\rm{x}}) = {\rm{x}} \otimes {1_{n \times n}}$$ enter description here

所以偏置的梯度为:$${{\partial E} \over {\partial {b_j}}} = \sum\limits_{u,v} {{{(\delta {\rm{j}}^l)}{uv}}} $$ (因为神经网络中对b的梯度为:($${{\partial E} \over {\partial b}} = {{\partial E} \over {\partial u}}{{\partial u} \over {\partial b}} = \delta $$(δ就是误差,根据定义的代价函数E得来的),其中u为layer的输入:$${u^l} = {W^l}{{\rm{x}}^{l - 1}} + {b^l}$$)

所以卷积核权值的梯度为:$${{\partial E} \over {\partial k_{ij}^l}} = \sum\limits_{u,v} {{{(\delta {\rm{j}}^l)}{uv}}(p_i^{l - 1})uv} $$ (其中:$${p_i^{l - 1}}$$为$${{\rm{x}}_i^{l - 1}}$$中在卷积运算中逐个与$${k_{ij}^l}$$相乘的patch,因为权重的系数就是对应的patch,对权重求导,就是这个系数)

1)子采样层计算公式

$${\rm{x}}_j^l = f(\beta j^ldown({\rm{x}}{\rm{j}}^{l - 1}) + b_j^l)$$

乘以一个常数权重β,再加上偏置,然后再调用激活函数(这里和上面的pooling的操作有所不同,但总的来数还是下采样的过程)

2)梯度计算

敏感度公式:$$\delta _{\rm{j}}^l = {f^'}(u_j^l) \circ conv2(\delta _{\rm{j}}^{l + 1},rot180(k_j^{l + 1}),'full')$$

和上面的其实类似,就是换成下一层对应的权重k,rot180()是旋转180度,因为卷积的时候是将卷积核旋转180度之后然后在点乘求和的

对偏置b的梯度与上面的一样

对于乘法偏置(文中叫 multiplicative bias)β的梯度为:$${{\partial E} \over {\partial {\beta j}}} = \sum\limits{u,v} {{{(\delta {\rm{j}}^l \circ d_j^l)}{uv}}} $$,其中$$d_j^l = down({\rm{x}}_j^{l - 1})$$

$$\Delta {{\rm{x}}_l} = \widehat {{W_l}}\Delta {y_l}$$....................................................(7)

假设$$\widehat {{W_l}}$$和$$\Delta {y_l}$$相互独立的

当$$\widehat {{W_l}}$$初始化Wie对称区间的分布时,可以得到:$$\Delta {{\rm{x}}_l}$$的均值为0

△しろさんかくx,△しろさんかくy都表示梯度,即:
$$\Delta {\rm{x}} = {{\partial \varepsilon } \over {\partial {\rm{x}}}}$$,$$\Delta y = {{\partial \varepsilon } \over {\partial y}}$$

根据反向传播:
$$\Delta {y_l} = {f^'}({y_l})\Delta {x_{l + 1}}$$

对于ReLu函数,f的导数为0或1,且概率是相等的,假设$${f^'}({y_l})$$和$$\Delta {x_{l + 1}}$$是相互独立的,

所以:$$E[\Delta {y_l}] = E[\Delta {x_{l + 1}}]/2 = 0$$

所以:$$E[{(\Delta {y_l})^2}] = Var[\Delta {y_l}] = {1 \over 2}Var[\Delta {x_{l + 1}}]$$...................................................(8)

根据(7)可以得到:
enter description here

将L层展开得:
$$Var[\Delta {x_2}] = Var[\Delta {x_{L + 1}}]\prod\limits_{l = 2}^L {{1 \over 2}\widehat {{n_l}}Var[{w_l}]} $$...........................................................(9)

同样令:$${1 \over 2}\widehat {{n_l}}Var[{w_l}] = 1$$

注意这里:$$\widehat {{n_l}} = k_l^2{d_l}$$,而$${n_l} = k_l^2{c_l} = k_l^2{d_{l - 1}}$$

所以$${{\rm{w}}_l}$$应满足均值为0,标准差为:$$\sqrt {{2 \over {\widehat {{n_l}}}}} $$的分布

对于正向和反向两种初始化权重的方式都是可以的,论文中的模型都能够收敛

比如利用反向传播得到的初始化得到:$$\prod\limits_{l = 2}^L {{1 \over 2}\widehat {{n_l}}Var[{w_l}]} = 1$$

对应到正向传播中得到:
enter description here

所以也不是逐渐缩小的

实验给出了与第一篇论文的比较,如下图所示,当神经网络有30层时,Xavier初始化权重的方法(第一篇论文中的方法)已经不能收敛。
enter description here

对于PReLu激励函数可以得到:$${1 \over 2}(1 + {a^2}){n_l}Var[{w_l}] = 1$$

当a=0时就是对应的ReLu激励函数

当a=1是就是对应线性函数

如果输入数据是白化的(whitened),网络会更快的收敛

白化目的是降低数据的冗余性和特征的相关性,例如通过线性变换使数据为0均值和单位方差

并非直接标准化每一层那么简单,如果不考虑归一化的影响,可能会降低梯度下降的影响

标准化与某个样本和所有样本都有关系

解决上面的问题,我们希望对于任何参数值,都要满足想要的分布;

$$\widehat x{\rm{ = }}N{\rm{orm}}({\rm{x}},\chi )$$

对于反向传播,需要计算:$${{\partial N{\rm{orm}}({\rm{x}},\chi )} \over {\partial {\rm{x}}}}$$和$${{\partial N{\rm{orm}}({\rm{x}},\chi )} \over {\partial \chi }}$$

这样做的计算代价是非常大的,因为需要计算x的协方差矩阵

然后白化操作:$${{{\rm{x}} - E[{\rm{x}}]} \over {\sqrt {Cov[{\rm{x}}]} }}$$

上面两种都不行或是不好,进而得到了BN的方法

既然白化每一层的输入代价非常大,我们可以进行简化

简化1

标准化特征的每一个维度而不是去标准化所有的特征,这样就不用求协方差矩阵了

例如d维的输入:$${\rm{x}} = ({x^{(1)}},{x^{(2)}}, \cdots ,{x^{(d)}})$$

标准化操作:
$${\widehat x^{(k)}} = {{{x^{(k)}} - E[{x^{(k)}}]} \over {\sqrt {Var[{{\rm{x}}^{(k)}}]} }}$$

需要注意的是标准化操作可能会降低数据的表达能力,例如我们之前提到的Sigmoid函数:
enter description here

标准化之后均值为0,方差为1,数据就会落在近似线性的函数区域内,这样激活函数的意义就不明显

所以对于每个 ,对应一对参数:$${\gamma ^{(k)}},{\beta ^{(k)}}$$ ,然后令:$${y^{(k)}} = {\gamma ^{(k)}}{\widehat x^{(k)}} + {\beta ^{(k)}}$$

从式子来看就是对标准化的数据进行缩放和平移,不至于使数据落在线性区域内,增加数据的表达能力(式子中如果:$${\gamma ^{(k)}} = \sqrt {Var[{{\rm{x}}^{(k)}}]} $$,$${\beta ^{(k)}} = E[{x^{(k)}}]$$ ,就会使恢复到原来的值了)

但是这里还是使用的全部的数据集,但是如果使用随机梯度下降,可以选取一个batch进行训练

简化2

第二种简化就是使用mini-batch进行随机梯度下降

注意这里使用mini-batch也是标准化每一个维度上的特征,而不是所有的特征一起,因为若果mini-batch中的数据量小于特征的维度时,会产生奇异协方差矩阵, 对应的行列式的值为0,非满秩

假设mini-batch 大小为m的B

$$B = { {x_{1 \ldots m}}} $$,对应的变换操作为:$$B{N_{\gamma ,\beta }}:{x_{1 \ldots m}} \to {y_{1 \ldots m}}$$

作者给出的批标准化的算法如下:
enter description here

算法中的ε是一个常量,为了保证数值的稳定性

反向传播求梯度:

因为:$${y^{(k)}} = {\gamma ^{(k)}}{\widehat x^{(k)}} + {\beta ^{(k)}}$$

所以:$${{\partial l} \over {\partial {{\widehat x}_i}}} = {{\partial l} \over {\partial {y_i}}}\gamma $$

因为:$${\widehat x_i} = {{{x_i} - {\mu _B}} \over {\sqrt {\sigma _B^2 + \varepsilon } }}$$

所以:$${{\partial l} \over {\partial \sigma B^2}} = {\sum\limits{i = 1}^m {{{\partial l} \over {\partial {{\widehat x}_i}}}({x_i} - {u_B}){{ - 1} \over 2}(\sigma _B^2 + \varepsilon )} ^{ - {3 \over 2}}}$$

$${{\partial l} \over {\partial {u_B}}} = \sum\limits_{{\rm{i = 1}}}^m {{{\partial l} \over {\partial {{\widehat x}_i}}}} {{ - 1} \over {\sqrt {\sigma _B^2 + \varepsilon } }}$$

因为:$${\mu B} = {1 \over m}\sum\limits{i = 1}^m {{x_i}} $$和$$\sigma B^2 = {1 \over m}\sum\limits{i = 1}^m {({x_i}} - {\mu _B}{)^2}$$

所以:$${{\partial l} \over {\partial {x_i}}} = {{\partial l} \over {\partial {{\widehat x}_i}}}{1 \over {\sqrt {\sigma _B^2 + \varepsilon } }} + {{\partial l} \over {\partial \sigma _B^2}}{{2({x_i} - {\mu _B})} \over m} + {{\partial l} \over {\partial {u_B}}}{1 \over m}$$

所以:$${{\partial l} \over {\partial \gamma }} = \sum\limits_{i = 1}^m {{{\partial l} \over {\partial {y_i}}}} {\widehat x_i}$$

$${{\partial l} \over {\partial \beta }} = \sum\limits_{i = 1}^m {{{\partial l} \over {\partial {y_i}}}} $$

对于BN变换是可微分的,随着网络的训练,网络层可以持续学到输入的分布。

由于 github 中不支持 Mathjax 公式,查看请移步我的博客

Tensorflow中实现一个Binary例子:查看这里

Tensorflow中的进阶实现:查看这里