• 比如要做attention的两个矩阵分别是query和keys;
• 将query和keys映射到8*num_heads, 然后再分割成八份,分别做attention计算;
• query乘以keys矩阵,再除以keys的维度的方根,再将keys填充部分的都变成0,取softmax作为attention
• 之后attention再对query填充的部分变成0,再矩阵乘以keys作为输出
• 注意到用六个multihead_attention结构叠加起来;

• 1: 避免representatinal bottlenecks;我的理解是,NN从输入到输出可以看作一个信息流动,每层做convolution或者其他变换都会将sample映射成新的presentation,比如一个句子先被你变成32256的embeding表示,做了RNN之后又会变成32rnn_output_dimesion的表示,作者的意思是每次变幻的时候都不要太激进,比如你不能一下子把一个256256的表示变成22的表示,这样会造成大量的信息损失;
• 2:高维度的representation在network里面更容易process;这个我理解为数据初步做convolution的时候怎么样搞都可以,经过几次conv和maxpooling之后就需要小心翼翼的做process了(我理解的可能不靠谱);
• 3:spatial aggregation在低维度的representation的时候可以几乎不损失信息;这点说的就是做3*3convolution或者其他空间信息压缩的时候,先降低representation的维度;
• 4: 长度和宽度保持平衡;

• 1: 用更多的size更小的convolution,比如将55的convolution替换成33 on top of 3*3;
• 2:用对称的convolution结构,比如将nn的 convolution替换成1n on top of n*1;

这个不是论文,是我自己工作里面实验的结果记录

对于多分类问题(1000类),能不能用一个模型进行粗分类缩小范围,再用另一个模型进行精分类?

对于问题匹配模型,我先用autoencoder模型去top 10的句子,再用RNN进行排序,得到了大概7%的提升,不知道有木有什么数学依据;

下面是比较精髓的一段代码:

 	# 因为tf.gather得缺陷,最好的解决方案是reshape到一维向量再index
 	_, top5idx = tf.nn.top_k(pred, tpk)
 	bs = tf.expand_dims(self.batch_size, -1)
 	top5idx = bs*self.num_anses + top5idx
 	# simic是rnn得到的对每个类的结果
 	# 主要是用reshape+index的方法解决tf.gather的缺陷;
 	self.simicr = tf.reshape(simic, [-1])
 	top5idx = tf.reshape(top5idx, [-1])
 	simi2 = tf.gather(self.simicr, top5idx)
 	simi2 = tf.reshape(simi2, [-1, tpk])
 	simi2 = tf.concat(1, [simi2, simitrue])
 	simi2 = tf.nn.softmax(simi2, -1)
 	_ = tf.expand_dims([1.0]*tpk + [-1.0], -1)

如果有更好的方法,请指正;

• 1:boosting里面都是弱的和不稳定的分类器;由弱的分类器构成了一个比较复杂的分类边界(decision boundaries),但是NN本身就几乎可以模拟任何复杂的函数,就像AMD八核胶水敌不过intel双核的区别一样;
• 2:想一想神经网络和传统机器学习的训练方式不同,神经网络是一个batch一个batch训练,将数据过很多遍,而且使用dropout避免过拟合,iteration很多次;然而传统的比如gradient boosting是通过多次迭代,每次迭代最优化一个参数来使得最终的loss最小,从这个角度看,NN就是gradient boosting的"无限"迭代状态,其实不是无限,因为NN的参数还是有限的;
• 3:本人尚未完全找到一个有效利用feedback的方法,如果有想法,请告知 jy2641@columbia.edu;

• 1,2: introduction之类的
• 3.1: 提出有一种continuation的方法可以解决这个问题
• 3.2: continuation的方法实际上在他用来就是reweight,就是先训练简单的数据,再训练复杂的数据,这个很神奇,比如说二分类,先主要让模型把注意力集中在那些离得比较远的点上,那些显然可以分开的点,再看那些分不太开的点;这样先训练出一个分类器,再reweight,逐渐提高那些模糊点的weight,最后达到样本开始时的分布;
• 4: 刚提到,curriculum learning本质上是一种reweight,这部分作者提出了一些reweight的方法,然而作者也说了,具体问题,还是要具体分析。(我一直觉得深度学习是一种伪科学,黑猫白猫抓到老鼠就是好猫,这又印证了我的观点)
• 5,6:作者分别用一个简单的图像识别和语言模型来说明怎么样reweigth,重点说说语言模型,这里的问题是给定前四个词预测下一个单词,然后训练数据用的是wikipedia的句子,作者首先用最常出现的五千单词做,也就是说训练数据的五个连续单词必须出现在这五千个单词里面,训练一段时间之后再用10000单词做,这样可以视为一种抽象的reweight;

• Alt text
• 就是用两个biLSTM分别应用于问题和答案;这里的答案如果是假答案,则label 0,反之则label 1;
• biLSTM分别run过一个句子之后,会得到n个中间hidden state和一个最终的hidden state;
• 可以直接用最终的hidden state做cosine距离计算,从而比较真假答案和原问题之间的距离;
• 也可以利用所有的hidden state,上图提到了做mean,或者max pooling;

• Alt text
• 略

• 注意到这里的attention是将问题向量应用到答案向量里面去;
• 应用的方式是,先将问题的hidden state做mean,然后根据这个向量分别和所有的答案hidden state做计算出weigth,然后答案hidden state乘以做个weight作为attention based答案hidden state
• 然后使用cnn分别对问题hidden states,和attention based答案hidden states做抽象;

• First Layer: 说的是考虑了上下文,其实就是把历史对话逐个和带选取的答案进行比较,但是比较的方式比较特别。以前我们用的lstm都是直接拿问题和答案的最终hidden state进行consine距离计算或者全连接得到一个相似度,denoising autoencoder的话是直接问题答案的hidden state进行cosine相似度;但是在这里,它是先拿一个句子里面的所有词向量和另一个句子里面的所有词向量进行相似度计算之后得到一个相似度矩阵,即M1,然后拿GRU去run这两个句子,得到两个hidden states序列,再进行全部的相似度计算,得到M2,之后做卷积,即Covolution和pooling部分。
  
• Matching Accumulation: 卷积过后,每个历史问题和待选答案之间得到一个向量,这样得到一个序列的向量,再用第二个GRU去run这个向量,中间的hidden states用attention机制来做加权平均得到一个最终向量,(或者直接取最终向量拉倒)再经过全连阶层得到一个最终相似度。
  

• 作者没分词,直接用单个的汉字来做的,第一层里面用词之间的相似度矩阵做convolution的方式比较特别,值得拿来研究。
  
  
  

• 不同于word2vec的地方:

原文档连接:http://sebastianruder.com/optimizing-gradient-descent/index.html#stochasticgradientdescent

目的:理解几个常用的gradient descend的机制和优劣

Stochastic Gradient Descend: Alt text

• SGD 是相当于batch gradient descend来说的,SGD对每一个训练样本都更新其参数,这样频繁的更新会使得目标函数波动幅度很大,同时收敛迅速; Alt text
• 当我们慢慢减少SGD的learning rate的时候,几乎可以保证损失函数能收敛到局部最小值(non-convex函数)和全局最小值(convex函数)
• 优点就是收敛迅速,缺点个人认为是要不断调整learning rate.

Adadelta Alt text Alt text

• Adadelta可以看作Adagrad变种而来,它们都假设gradients的方差遵循一个自相关的过程;作为一个自适应的gradient的方法,adadelta不需要设定learning rate;
• 优点是训练初中期,加速效果不错,很快, 缺点是训练后期,反复在局部最小值附近抖动

Adam Alt text

• adam结合gradient的一阶和二阶矩估计来调整learning rate;上图中mt和vt分别是梯度的一阶和二阶矩估计;
• 适用于大多非凸优化 - 适用于大数据集和高维空间