我站百分之百全赔!为你的店铺保价护航空包快递总站】

淘宝空包网

可乐空包网:基于LSTM的Seq2Seq神经网络模型结构

更新时间:2019/10/25 / 阅读次数:401


  可乐空包网:2014年,Cho等人[6]为了解决序编码问题提出基于一般RNN的Seq2Seq 编码-解码网络结构。Sutskever等人[27]在2014年提出基于LSTM的Seq2Seq

  

  网络解决长时依赖问题。Seq2Seq的编码器接受任意长度的输入序列并将信息压 缩到隐层特征空间,解码器利用特征空间信息重构,可以输出不同于输入长度 的时序序列。该模型提出后受到了持续关注。本文利用两个LSTM层分别作为 Seq2Seq的编码与解码器,如图3.1所示所示。LSTM是一种门控递归神经网络结 构,每个单元是一个细胞,而且不同于全连接层的神经元,LSTM细胞拥有两个 状态:隐状态和细胞状态,LSTM通过这两个状态推动信息在同网络层细胞、不 同层网络层和不同时间步之间的流动。另外,LSTM细胞还有三个控制门:遗忘 门、输入门、输出门,它们由加法操作、乘法操作以及激活函数组成,三个门共 同控制着细胞输出、细胞状态及隐状态。Seq2Seq允许输入与输出具有不同的时 间长度,解决了时序预测中输入与输出长度不匹配的问题。由于LSTM网络的 层数较浅,预测速度很快,十分适合在线场景。

  

  可乐空包网:优化算法与参数捜索

  

  python的机器学习库sklearn包含了一个自动调参函数GridSearchCV,给定

  

  模型参数和范围,该函数能够生成参数搜索空间,并自动对模型进行训练和评 估,本文利用该方法对机器学习模型的主要参数进行调整。

  

  神经网络有不同的优化算法,帮助网络在训练过程中找到损失函数最小值和 最佳网络参数。本文在进行调参时尝试了随机梯度下降算法(Stochastic gradient descent, SDG)、自适应矩估计算法(Adaptive Moment Estimation, Adam)以及 RMSprop算法,后两个算法是自适应学习率算法。Adam算法的效果在实验中效 果表现最好。

  

  

空包网 http://www.kongbao.ren

上一篇:淘宝空包代发网站:农村电子商务

下一篇:uu空包网登录:中国网商群体社会经济影响力逐渐扩大

最新文章

最热文章

收缩
  • 电话咨询

  • 15983295272