紫荆花苗多少钱一棵?

小说:紫荆花苗多少钱一棵?作者:辛开平帝更新时间:2019-04-19字数:30793

上一章我们训练了一个浅层神经网络,只要两个隐层。但如果处理复杂的问题,例如从高分辨率图像中识别上百种类的物品,这就需要训练一个深度DNN。也行包含十层,每层上百个神经元,几十万个连接。这绝不是闹着玩的:

  • 首先,需要面对梯度消失(或者相对的梯度爆炸)问题,这会导致浅层很难被训练。
  • 其次,这么大一个网络,训练速度很慢。
  • 最后,一个包含上百万参数的模型,存在很大过拟合的风险。

11.1 梯度消失(爆炸)问题

反向传播算法会计算损失函数关于每一个参数的偏导数,然后使用梯度下降更新参数。不幸的是,反向传播时,梯度经常会逐层越来越小,导致底层权重基本保持不变,从而不能得到好的训练结果。这就是所谓的梯度消失问题。而有时候还可能发生相反的情况:很多层的权重每次修改量很大,导致不能收敛。这就是梯度爆炸问题,主要发生在RNN。更普遍的问题是,深度神经网络往往梯度不稳定,不同的层学习速度差别很大。

这一问题知道2010才有了突破性的进展。在Xavier Glorot和Yoshua Bengio的论文Understanding the Difficulty of Training Deep Feedforward Neural Networks中,作者发现了一些造成这一问题的可能因素,包括logistic sigmoid激活函数和当时流行的随机初始化方式(使用使用均值为0标准差为1的正态分布进行初始化)。他们表明,这一激活函数加上这种初始化方式,使得每一层输出的方差远大于输入。这一情况在使用均值是0.5的logistic函数时变得更为糟糕(双曲正切函数的均值是0,从而在深度网络中表现优于logistic函数)。

观察图11-1的激活函数,随着输入值的绝对值变大,函数值趋近于1和0,此时导数趋近于0。因此在方向传播时,几乎没有导数传回去。 

图11-1 Logistic激活函数

11.1.1 Xavier and He Initialization

在其论文中,Glorot and Bengio提供了一种可以显著改善该问题的建议。我们需要信号在两个方向都可以正常的流动:在前向做出预测和反向传播梯度时。我们不希望信号消失,也不希望它保障或者饱和(也就是趋近于某一个值)。为了使信号正常流动,作者主张每一层输入和输出的方差相等,并且在反向传播时梯度的方差保持不变(如果对其中的数学细节感兴趣,可以研究一下论文)。我们无法同时满足这连个条件,不过作者提供了更为宽松的约束条件,并且在实践中表现还不错,各个连接的权重必须按照如下方式初始化:

正态分布均值0,标准差$sigma = sqrt{frac{2}{n_{mbox{input}} + n_{mbox{output}}}}$

或者,$-r$到$+r$之间的均匀分布,并且$r = sqrt{frac{6}{n_{mbox{input}} + n_{mbox{output}}}}$

其中,$n_{mbox{input}}$和$n_{mbox{output}}$是改成输入和输出数量。这一初始化策略称为Xavier初始化,或者Glorot初始化。

如果输入和输出数量大致相等,公式可以简化为$sigma = 1/sqrt{n_{mbox{input}}}$,$sigma = sqrt{3} / sqrt{n_{mbox{input}}}$,这正是我们在第十章使用的。

使用Xavier初始化策略可以使训练速度得到显著提升,这正是为当今深度学习带来成果的一个技术手段。一些不久前的论文提供了类似的,针对其他激活函数的初始化策略,如表11-1所示。所有这些初始化策略有时被称作He(这是中国姓氏,但不知道是何,贺,还是和)初始化。

表11-1. 针对不同激活函数的初始化策略

11.1.2 不饱和(Nonsaturating)激活函数

$f$是不饱和函数当且仅当$mathop{lim}limits_{z o infty} |f(z)| = +infty$

Glorot和Bengio在其2010年的论文中认为,带来梯度消失(爆炸)问题的重要原因是可供选择的激活函数太少。最初人们倾向于选择sigmoid激活函数,但事实上在神经网络中其他激活函数表现更好,尤其是ReLU。很重要的原因是ReLU对正值具有不饱和性(也就是没有上限)。

不过ReLU也并不完美,会遇到被称作dying ReLUs的问题:在训练期间,有些神经元事实上死掉了,除了0之外什么也不会输出(这里的输出,应该指的是反向传播时,高层对底层输出的梯度)。有时候一半的神经元都是死的,尤其是学习率较大的情况下。一旦出现这一情况,基本上就不能恢复过来了,因为当ReLU的输入是负数时,其梯度是0。

为了解决这一问题,可以使用ReLU的变体,比如leaky ReLU(如图11-2)。$mbox{LeakyReLU}_{alpha}(z) = max(alpha z, z)$。其中,超参数$alpha$定义了输入为负值时的倾斜度,一般设置为0.01。这个小斜坡保证了leaky ReLU不会死掉,不过也就可能进入长期的昏迷。毕竟还活着,长期昏迷后还是有可能苏醒过来的。

图11-2 Leaky ReLU

Djork-Arné Clevert等人在其2015年的一篇论文中提出了一种称为exponential linear unit (ELU)的新的激活函数,表现好过ReLU的所有变体。

egin{align*}
mbox{ELU}_{alpha}(z) = left{egin{matrix}
alpha(exp(z) - 1) &mbox{if} &z < 0 \
z &mbox{if} & z geq 0
end{matrix} ight.
end{align*}

图11-3 ELU激活函数

选择激活函数时,一般ELU > leaky ReLU (及其变种) > ReLU > tanh > logistic。如果你更关心运行时表现,leaky ReLU要优于ELU。

11.1.3 Batch Normalization

尽管He initialization搭配ELU可以缓解训练初期的梯度消失(爆炸)问题,但是并不能保证在整个训练周期都不会出现这一问题。Sergey Ioffe和Christian Szegedy在其2015年的论文中提出了一种被称作Batch Normalization (BN)的解决方案。比梯度消失(爆炸)更一般的问题是,由于前层参数的变化,造成后层输入数据分布变化的问题(他们称为Internal Covariate Shift问题)。

该技术就是在每一层应用激活函数之前,增加一些操作。首先对数据进行简单的zero-centering和normalizing(其实就是转换成均值为0,标准差为1的数据),然后使用两个参数对数据进行scaling和shifting(缩放和平移)操作。换句话说,这两步就是让模型学习每层输入最优的scale(规模)和均值。

批规范化算法(Batch Normalization algorithm):

其中,

  • $mu_B$是经验均值,在整个mini-batch上进行评估。
  • $sigma_B$是经验标准差,也是在整个mini-batch上评估的。
  • $m_B$是mini-batch的实例数。
  • $hat{X}^{(i)}$是zero-centered和normalized后的输入数据。
  • $gamma$是该层的scaling参数。
  • $eta$是该层的shifting参数。
  • $epsilon$是为了避免除零的,通常为$10^{-3}$,也被称为平滑系数。
  • $Z^{(i)}$是BN操作的输出。

在测试阶段,不存在mini-batch来计算经验均值和标准差,简单地使用整个训练集的均值和标准差即可。 These are typically efficiently computed during training using a moving average.(这句话没看懂。moving average是一种快速计算均值和标准差的技术?)所以,每个batch-normalized层需要学习四个参数:$gamma$(scale),$eta$(offset),$mu$(mean)和$sigma_B$(standard deviation)。

作者宣称,该技术提升了他们实验所采用的所有深度学习网络。梯度消失问题得到了明显的环境,以至于可以使用饱和激活函数,比如tanh,甚至是logistic激活函数。网络对权重初始值的敏感度也明显降低。他们也可以提到学习率来加快训练速度。此外,Batch Normalization也充当了正则化的角色,减少其他正则化技术的使用(比如后面章节将会介绍的dropout)。

当然,该技术有利也有弊——其增加了模型复杂度,这是一种运行时惩罚:额外的计算导致预测缓慢。所以,如果更在意预测效率的话,最好还是选择ELU + He initialization。

然后是Batch Normalization的TensorFlow实现,代码可参考作者的GitHub。

11.1.4 Gradient Clipping

减轻梯度爆炸的一项技术是使反向传播的梯度不超过某个阈值(这在训练rnn时比较有用)。 这一技术称为Gradient Clipping。现在人们更喜欢Batch Normalization,不过了解一下Gradient Clipping还是有帮助的。

11.2 Reusing Pretrained Layers

如果训练一个大型的DNN,一般都不会从零开始,而是找到一个已经训练好的,与你的任务相似的模型。复用旧模型的底层,这称为transfer learning。这不仅会加快训练速度,而且需要更少的训练数据。

图11-4 Reusing pretrained layers

在上图中,如果新旧模型训练数据的结构不一致,那就需要增加一步预处理,将数据的格式转换为就模型需要的。一般情况下,transfer learning在输入值具有相似的低级别特征时表现良好。

11.2.1 Reusing a TensorFlow Model

讲解在原始模型使用TensorFlow时,新的模型如何复用。

11.2.2 Reusing Models from Other Frameworks

讲解如果模型是其他框架实现的,在TensorFlow中如何复用。

11.2.3 Freezing the Lower Layers

就是冷冻住低层级的参数,使其在反向传播时不被更新。

11.2.4 Caching the Frozen Layers

如果使用了11.2.3的技术,由于前面几层的参数是不变的,可以将最高冷冻层的输出值缓存起来,不用每次前向传播都去计算。这可以提高训练速度。

11.2.5 Tweaking, Dropping, or Replacing the Upper Layers

原始模型的输出层会被替换掉,因为它一本对新任务来讲是没用的,甚至与新任务输出值的个数都不匹配。类似的,原始模型的高级隐层对新任务的用处较小。我们需要找到适合复用的层数。

首先复用所有层,训练模型并评估其表现。然后解冻一个或两个隐层,训练之后观察其表现是否提升。训练数据越多,就解冻越多的层。

11.2.6 Model Zoos

这就是模型仓库,可以找到别人训练好的模型。

TensorFlow的model zoo位于https://github.com/tensorflow/models。包含目前最先进的图像分类网络,比如VGG, Inception, and ResNet。

另一个是Caffe’s Model Zoo:https://github.com/BVLC/caffe/wiki/Model-Zoo。

11.2.7 Unsupervised Pretraining

假设你要处理一个复杂的任务,并且没有足够带标签的训练数据。并且的是,也找不到针对类似任务训练好的模型。不要绝望!首先,你当然应该收集更多的带标签数据,如果这很困难或者很昂贵,仍然可以使用unsupervised pretraining完成任务(如图11-5)。这就是说,如果你有大量的无标签数据,那就可以一层层地训练,使用无监督特征检测(feature detector)算法,比如Restricted Boltzmann Machines或者autoencoders。等到所有层都训练完成,就可以使用监督学习对网络进行微调。

图11-5 Unsupervised pretraining

这是一个漫长乏味的过程,但是往往表现良好。事实上,这一技术正是Geoffrey Hinton及其团队在2016年使用并带来了神经网络的复兴以及深度学习的成功。

11.2.8 Pretraining on an Auxiliary Task

另外一个选择是,首先训练一个辅助的模型,该模型的标签数据可以轻易生成,然后复用底层来训练模型实现真正的任务。

比如,你想建立一个人脸识别系统,并且没有太多的带标签数据。不过你可以在网络随机搜集一些照片,并训练一个模型来识别不同的照片中是否是同一个人。第一个模型会学习到识别人脸的优秀特征,这可以在第二个模型中复用,并减少第二个模型所需的训练数据。

11.3 Faster Optimizers

这一小节的结论是,用AdamOptimizer替换掉GradientDescentOptimizer就行了。我先跳过了,后面有时间再补上这几个优化算法。

11.4 Avoiding Overfitting Through Regularization

神经网络往往参数很多,自由度很大,太容易过拟合,所以应该使用一些正则化技术防止过拟合。

11.4.1 Early Stopping

这在第四章介绍过,就是在校验集表现最好时终止训练。

11.4.2 $l_i$和$l_2$正则

这个也和第四章的意义,跟传统机器模型的方式一样。

11.4.3 Dropout

当前深度神经网络最受欢迎的正则化技术大概就是dropout了。它首先由G. E. Hinton在2012年提出,并由Nitish Srivastava在其论文中完善。该技术取得了巨大成功。

这是一个很简单的算法:在每一步训练,所有神经元(包括输入神经元但不包括输出神经元)都有一个可能“dropped out”的概率$p$,意味着本次训练它可能会被忽视,但在下次训练有可能会被激活。超参数$p$被称作dropout rate,一般被设置为50%。训练结束后,神经元不再被忽视。

起初可能觉得吃惊,这一蛮横的算法居然表现良好。我们现在假设,一家公司通过抛硬币决定每个员工是否上班。很明显这家公司要改编其组织架构。任何工作都不能依赖于单独一个人,所以专业技术需要传授给很多人。雇员必须学着与同事合作。如果某员工退出,影响不会太大。虽然不知道这一思想是否适用于公司运营,但其确实适用于神经网络的训练。神经元将对输入值的轻微变化不再敏感,最终会得到一个更加鲁棒,更容易一般化的神经网络。

理解dropout巨大威力的另一个途径就是理解,每一步训练其实都在生成一个不同的神经网络。由于每个神经元都可能出席或者缺席,总共有$2^N$(其中,$N$是可忽视神经元总数)种可能的网络。如果训练10000步,本质上就是训练了10000个神经元。最终的神经元可以看成是这些单独神经元的一个averaging ensemble。

还有一个技术细节。假设$p = 50%$,在这种情况下测试阶段的神经元数量是训练阶段的两倍。为了弥补这一问题,我们需要在训练结束后对连接权重乘以0.5。更一般的,我们需要在训练结束后对连接权重乘以keep probability (1 – p)。

如果观察到模型过拟合,可以增大dropout rate。欠拟合就减小dropout rate。

Dropout会显著地降低收敛速度,但通常会得到一个更好的模型。多花费一些训练时间也是值得的。

11.4.4 Max-Norm Regularization

另外一种比较受欢迎的神经网络正则化方法是max-norm正则。对于每一个连接权重$w$,都使其满足$left | w ight |_2 leq gamma $,其中$gamma$是max-norm超参数。

算法实现时,一般会先计算$left | w ight |_2$,如果需要的话就对其进行修剪($w leftarrow wfrac{r}{left | w ight |_2}$)。

降低$gamma$就可以减少过拟合的可能性。max-norm正则也可以缓解梯度消失(爆炸)问题(如果没使用Batch Normalization)。

TensorFlow并不提供现成的max-norm正则,不过作者自己实现了一个。

11.4.5 Data Augmentation

该正则化技术就是通过已经存在的训练集来生成新的训练实例。这一技巧就是生成逼真的训练数据。理想情况下,人无法区分该实例是否自动生成。简单的增加white noise并没有帮助,因为改变必须是可学习的(white noise不能被学习)。例如,根据一个图片,生成各种不同的图片,如下图所示:

 图11-10 使用现有训练样本生成新的实例

11.5 实用的指导方针

DNN默认配置:

Initialization:He initialization
Activation function: ELU
Normalization: Batch Normalization
Regularization: Dropout
Optimizer: Adam
Learning rate schedule: None

默认的配置可能需要调整:

  • 如果找不到一个合适的学习率(收敛太慢,增大学习率。然后收敛加快了,但是最终的模型不是最优的),那就可以尝试增加一个learning schedule,比如exponential decay。
  • 如果训练集太小,可以实现data augmentation
  • 如果想要一个稀疏的模型,可以增加$l_1$正则。需要更加稀疏的话,尝试使用FTRL代替Adam优化,并配合$l_1$正则。
  • 如果需要一个能够快速预测的模型,那也许就需要放弃Batch Normalization,改为ELU激活函数。稀疏的模型也能加快预测时间。

 

当前文章:http://www.cnsdbtzg.com/news/201901/18/content_33549.html

发布时间:2019-04-19 18:41:10

水杉树报价哪家准确? 湖南可以种植红叶碧桃吗? 目前棣棠球多少钱一棵? 哪里有绿梅、绿萼梅,都有哪些规格? 红瑞木种子种植最佳季节是什么时候? 木香花语是什么? 2毛钱就能买到的火棘苗,在江苏省内只有一家有哦! 六公分中国红枫市场什么价格? 行道树种樱花间距多少米一棵? 高尔夫果岭草品种有几种?

20280 68318 10024 53557 24298 41956 84265 38008 44462 33498 47792 22726 38486 49575 27526 61261 52610 43251 89928 26338 55336 26161 13106

我要说两句: (0人参与)

发布