搜索

长短期记忆(LSTM)系列_21~23、用递归神经网络简要介绍序列预测

gecimao 发表于 2019-07-17 01:00 | 查看: | 回复:

  序列可以是诸如句子中的字母之类的符号,也可以是诸如价格的时间序列中的实际值之类的符号。在时间序列预测的背景下,序列预测可能是最容易理解的,因为问题已经被普遍理解。

  事实上,在撰写本文时,LSTM在具有挑战性的序列预测问题(如神经机器翻译(将英语翻译成法语))中实现了最先进的结果。

  LSTM通过学习将输入序列值(X)映射到输出序列值(y)的函数(f(...))来工作。

  学习的映射函数是静态的,可以被认为是一个获取输入变量并使用内部变量的程序。内部变量由网络维护的内部状态表示,并在输入序列中的每个值上建立或累积。

  在序列预测的情况下,该模型将针对作为输入接收的每个观察时间步长产生一个时间步长预测。

  这对RNN来说用途很差,因为模型没有机会学习输入或输出时间步长(例如BPTT)。如果您发现为序列预测实现此模型,您可能打算使用多对一模型。

  该模型可用于图像字幕,其中一个图像被提供作为输入并且一系列单词被生成为输出。

  在时间序列的情况下,该模型将使用一系列最近的观察来预测下一个时间步骤。该架构将代表经典的自回归时间序列模型。

  与多对一情况一样,累积状态直到创建第一个输出,但在这种情况下输出多个时间步长。

  重要的是,输入时间步数不必与输出时间步数相匹配。考虑以不同速率运行的输入和输出时间步长。

  或者,序列可以很容易地表示在时间步骤的多个观察的向量。时间步长的向量中的每个项可以被认为是其自己的单独时间序列。它不会影响上述模型的描述。

  例如,将温度和压力的一个时间步长作为输入并且预测温度和压力的一个时间步长的模型是一对一模型,而不是多对多模型。

  该模型确实将两个值作为输入并预测两个值,但是只有一个序列时间步骤表示输入并预测为输出。

  上面定义的序列预测模型的基数是指时间步骤,而不是特征(例如,单变量或多变量序列)。

  这是输入多层感知器使用的序列预测问题的经典的基于固定窗口的方法。相反,序列应该一次一步地进给。

  这种混淆可能会让您认为您实现了多对一或多对多序列预测模型,而实际上您只有一个时间步的单个向量输入。

  这是多层感知器和其他机器学习算法使用的多步预测的经典固定窗口方法。相反,序列预测应该一次一步地生成。

  这种混淆可能会导致您认为您已经实现了一对多或多对多序列预测模型,而实际上您只有一个时间步的单个向量输出(例如seq2vec而不是seq2seq)。

  注意:将时间步长作为序列预测问题中的特征构建是一种有效的策略,即使使用递归神经网络也可以提高性能(尝试一下!)。这里的重点是理解常见的陷阱,而不是在构建自己的预测问题时欺骗自己。

  问题1:什么是LSTMRNN?LSTM(LongShort-TermMemory)——意思是长短期记忆,LSTMRNN即长短期记忆的循环神经网络。问题2:传统RNN有什么弊端?传统的循环神经网络(RN...博文

  1.摘要        对于RNN解决了之前信息保存的问题,例如,对于阅读一篇文章,RNN网络可以借助前面提到的信息对当前的词进行判断和理解,这是传统的网络是不能做到的。但是,对于RNN网络存在长期依...博文来自:DataH

  RNN循环神经网络是有其弊端的,例如有这样一段话我们需要处理:今天我要做西红柿鸡蛋,我需要先去市场买两个西红柿,再买两个鸡蛋,回家之后,切西红柿,点火,放锅……我们需要让计算机判断我们做了一道什么菜,...博文来自:花梦飞的博客

  转自:本文主要包括:一、什么是LSTM 二、LSTM的曲线拟合 三、LSTM的分类问题 四、为什么LSTM有...博文来自:SweeNeil

  上一个章节(RNN)最后的时候分析, 当t-k远大于0的时候,如果小于零,将会变成一个很小值,如果大于零,将会变成一个很多的数,前者就是梯度消失,后者就是梯度爆炸,LSTM主要是解决这个问题。梯度消失...博文来自:chenfenggang的专栏

  点击查看完整代码(LongShort-TermMemory)是长短期记忆网络,是一种时间递归神经网络,适合于处理...博文来自:aeoob的博客

  深度学习-43:长短时记忆神经网络(LSTM)深度学习原理与实践(开源图书)-总目录长短时记忆神经网络(LongShort-termMemoryNetworks,LSTM)是一种RNN特殊的类型,可以...博文来自:智能多媒体

  1.RecurrentNeuralNetwork(RNN)尽管从多层感知器(MLP)到循环神经网络(RNN)的扩展看起来微不足道,但是这对于序列的学习具有深远的意义。循环神经网络(RNN)的使用是用来...博文来自:James Zhangs Blog

  表示目前还是懵的,智商不够,看不懂,-_-。博主写的很好,转载过来,慢慢消化吧,原文地址:博文来自:业余狙击手19 ▄︻┻┳═一 ---

  ##作者:韦访#博客:微信:1007895847#添加微信的备注一下是CSDN的#欢迎大家一起学习#1、概述上一节说道,简单的循环神经...博文来自:韦访的专栏

  本章结构图: 长短期记忆(LSTM)系列文章是本人对博主JasonBrownlee博士文章学习的笔记,分享给大家一起学习如有版权问题请联系本人。本专题包含4篇文章:长短期记忆(LSTM)系列_LST...博文来自:佚名

  作者:Jason时间:2017.10.17长短期记忆(LSTM)神经网络是之前讲的RNN的一种升级版本,我们先来聊聊RNN的弊端。RNN的弊端之前我们说过,RNN是在有顺序的数据上进行学习的.为了记住...博文来自:Jason160918的博客

  长短期记忆(LSTM)系列_LSTM的特性学习章节结构图: 到此,长短期记忆(LSTM)系列专题就结束了本专题系统的讲解了LSTM预测的方法,并给出了多个预测实例,供大家啊学习研究。本专题全部文章链...博文来自:佚名

  一、循环神经网络简介二、循环神经网络的结构三、循环神经网络的前向传播与反向传播(一)RNN前向传播 前向传播总结:(二)RNN反向传播(三)RNN网络的缺点四、长短时记忆——LSTM结构(一)LSTM...博文来自:loveliuzz的博客

  在上一篇博文中,我们介绍了长短时记忆网络的基本概念,在这一节中,我们将以长短时记忆网络(LSTM)为例,讲解深度学习算法在股票价预测中的应用。我们要分析的数据如下所示:各列依次为:股票代码、日期、开盘...博文来自:Yt7589的专栏

  传统DNN或者CNN无法对时间序列上的变化进行建模,即当前的预测只跟当前的输入样本相关,无法建立在时间或者先后顺序上出现在当前样本之前或者之后的样本之间的联系。实际的很多场景中,样本出现的时间顺序非常...博文来自:牧野的博客

  关于理解LSTM的一篇英文博客非常经典,可以去这里阅读,本文也参考了该博文。循环神经网络(RNN)BiLSTM是RNN的一种延伸,因此,要理解BiLSRM就必须首先弄明白什么是RNN。普通神经网络的局...博文来自:SunJW_2017的博客

  点击查看完整代码该代码利用Python3实现,利用到了深度学习工具包Keras。Keras是一个高层神经网络API,Ke...博文来自:aeoob的博客

  导读:本文介绍了LSTM网络中的TimeDistributed包装层,代码演示了具有TimeDistributed层的LSTM网络配置方法。演示了一对一,多对一,多对多,三种不同的预测方法如何配置。在...博文来自:佚名

  以下是《长短期记忆(LSTM)系列_LSTM的数据准备》 专题的概况图本专题包含6篇文章:长短期记忆(LSTM)系列_LSTM的数据准备(1)——如何重塑Keras中长短期内存网络的输入数据长短期记忆...博文来自:佚名

  基于长短期记忆神经网络的蛋白质二级结构预测问题描述数据来源数据的处理长短期记忆神经网络训练结果问题描述首先我们应该对对蛋白质二级结构有一定的了解,知道蛋白质二级结构预测指的是什么。蛋白质二级结构预测其...博文来自:的博客

  点击查看完整代码该代码利用Python3实现,利用到了深度学习工具包Tensorflow。TensorFlow是一个采用...博文来自:aeoob的博客

  1、介绍长短期记忆修改了循环神经网络隐藏状态的计算方式,并引入了与隐藏状态形状相同的记忆细胞(某些文献把记忆细胞当成一种特殊的隐藏状态)。2、具体的设计(1)输入门、遗忘门和输出门ItFtOt=σ(X...博文来自:Haward

  本文部分内容引用了以下文章及书籍,在此由衷感谢以下作者的分享!博文来自:的博客

  导读:有状态的网络指的是每次训练一个周期的网络,将当前网络的状态记录下来,下一次训练网络时将上一次网络的状态作为下一次训练时的网络初始状态。通过设置参数stateful=True来实现。model.a...博文来自:佚名

  我们在进行判断决策时,除了会依靠当前的情况,也会调动大脑中的记忆,协同分析。记忆分为长期记忆和短期记忆,短期记忆可以认为是对之前较短时间内发生事件的印象,这对于一些日常生活应用非常的有必要。比如以下两...博文来自:zxhohai的博客

  导读:什么是热编码,原意是OneHotEncoder,OneHotEncoder就是把一些有意义的文字或符号转换成及其能读懂的语言。我们有时想对一系列有意义的数据进行处理或者预测,但这种有意义的数据不...博文来自:佚名

  导语:本文介绍了LSTM的相关内容和在股票价格预测上的应用。LSTM(LongShortTermMemory)是一种特殊的RNN类型,同其他的RNNs相比可以更加方便地学习长期依赖关系,因此有很多人试...博文来自:bigquant的博客

  上篇文章介绍了GRU,建议不太了解RNN和GRU的同学看看我上一篇文章:这篇来说...博文来自:wenqiwenqi123的博客

  我们使用的数据集是上海证券交易数据,在kaggle上面下载到的,数据集下载链接博文来自:lpp5406813053的博客

  导读:本文讨论分析了输入数据中,有数据缺失的情况如何处理一般有两种情况,分别是对缺失值进行替换和学习,忽略对缺失值的学习同时文章演示了对于缺失值得补全方法。文末附带两个LSTM代码,比较了两种对缺失值...博文来自:佚名

  导读:一个模型从准备数据到最后训练完成,构建了一个完整的神经网络,在准备用来预测之前,我们需要先将这个网络保存起来,以便下次可以直接拿来使用,不用重复训练。模型的保存和调用方法为model.save(...博文来自:佚名

  jquery/js实现一个网页同时调用多个倒计时(最新的)nn最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦!nnnn//jsn...博文来自:Websites

  PHP是能让你生成动态网页的工具之一。PHP网页文件被当作一般HTML网页文件来处理并且在编辑时你可以用编辑HTML的常规方法编写PHP。最近在折腾那个安卓扫码登录的功能,然后网页端是用php的做了,...博文来自:朱培(知浅_ZLH)

  今天把本人花费一个月左右整理的600多款小程序源码发布出来,以后每个月还会持续更新,很大一部分都带有后台源码并包含有小程序上线教程,帮你分分钟上线自己的小程序,下面我们来看看目录截图,最后面会把源码目...博文来自:明礼馨德的博客

  前言本文是对之前的一篇文章Spring+SpringMVC+mybatis+Quartz整合代码部分做的一个修改和补充, 其中最大的变化就是后台框架变成了Spring Boot。本工程所用到的技术或工...博文来自:天降风云的博客

  yangwohenmai1:首先,如果你用的是keras api,根据官方文档,kreas每次加载模型的时候,会对权重矩阵进行更新,所以可能会造成每次运算的预测结果有差异

  yangwohenmai1:这种情况很可能是线程对ui操作时,切换ui时候,窗体默认被销毁了,这种情况很常见,具体情况因为framework是不开源的,内部实现就不清楚了,根据经验尽量少用多线程操作ui

  swallowlv:[reply]yangwohenmai1[/reply] 是这样的:子线程使用了操作完该对象A后,再用invoke方法在UI线程里面操作对象B。(子线程只是调用了控件里面的方法,因为这控件既有ui部分的界面,也有封装的方法。所以我就new了两个对象,对象B只用来显示文件,对象A用来进行对目标文件的操作) 具体情况是在最后ui访问对象B之前,用鼠标切换回应用的界面就没有报错。而且必须是鼠标,this.activate()也没用。 难道是这个垃圾清理机制把对象B回收了?不是很懂,就因为当时没有返回这个应用吗。。。太费解了。 最可怕的是这个dll里面东西也不是我写的,只能配合他,所以最后我尝试避开这个问题了。

  yangwohenmai1:根据官方介绍,如果你调用的是kreas,那他每次都会对权重矩阵重新更新,所以导致训练结果有变化,这个是正常的

本文链接:http://miamiaccounting.net/diguiguji/675.html
随机为您推荐歌词

联系我们 | 关于我们 | 网友投稿 | 版权声明 | 广告服务 | 站点统计 | 网站地图

版权声明:本站资源均来自互联网,如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

Copyright @ 2012-2013 织梦猫 版权所有  Powered by Dedecms 5.7
渝ICP备10013703号  

回顶部