搜索神经元优化器：使用强化学习自动搜索优化方法-IT外包官网-蓝盟集团

搜索神经元优化器：使用强化学习自动搜索优化方法

发布者：上海IT外包来源：http://www.lanmon.net点击数：1080

本文档通过深入学习绘制不同的更新规则，以获得更好的优化方法。这些不同的优化规则源于规则对采样概率及其在子网中的性能的重要性。本文提出的优化方法可以移到不同的神经网络架构中，并具有优异的性能。机器的核心简要介绍了论文。
使用强化学习自动搜索优化方法

我们提出了一种自动探索优化算法的方法，该算法侧重于深度学习架构。我们训练循环神经网络控制器以特定领域语言生成字符串，该字符串描述基于原始函数（例如梯度及其运行平均值）的一系列数学更新方程。通过强化学习训练控制器，以在几个时代之后最大化模型的性能。在CIFAR-10中，我们的方法发现一些更新规则优于许多常用的优化器，例如Adam，RMSProp或在卷积网络模型中有和没有脉冲的优化器。这些优化器也可以转移到不同的神经网络架构并运行得很好，包括谷歌的神经元机器翻译系统。

神经元优化器搜索概述
1.神经优化器搜索的一般描述。
一些常见优化器的计算图（例如SGD，RMSProp，Adam）
一些常见优化器（如SGD，RMSProp，Adam）的计算图。
校正的校正，并且表示两个步骤的偏差校正估计。
RNN驱动程序概述
RNN控制器的一般描述。图3中的控制器可以反复选择长度为5的亚序列：首先选择在第一和第二操作数OP1和OP2，然后应用在两个操作数（操作数）两个一元函数U1和U2，以及最后的二进制函数b连接一元函数的输出。则b（U1（OP1），U2（OP2））变为在随后的预测操作数或组成为更新规则。每个预测从最终的分类SOFTMAX衍生，然后用作用于下一时间步骤的输入。

上一篇: 蓝盟IT外包，元宇宙：四梁八柱是什么
下一篇: 定量评估，算法扩展：加强学习研究的十大原则
分享到：

微软云

IT采购

弱电工程

系统集成

客户故事

搜索神经元优化器：使用强化学习自动搜索优化方法

400-635-8089