人工智能的重要算法之一--LSTM算法
长短期记忆神经网络lstm是一种特殊的rnn，能够学习长期依赖关系。由hochreiter和schmidhuber （1997）提出，在后期工作中又由许多人进行了调整和普及（除了原始作者之外，许多人为现代lstm做出了贡献，不完全统计：felix gers（目前在谷歌的deepmind任职）， fred cummins， santiago fernandez， felix gers（发明了lstm遗忘门），justin bayer（自动演化）， daan wierstra， julian togelius， faustian gomez， matteo gagliolo 和 alex graves）。lstm在大量问题上效果异常出色，现在正在广泛使用。
ltsm概念： 长短时记忆神经网络lstm（long short–term memory）是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
与其说长短时记忆神经网络lstm是一种循环神经网络，倒不如说是一个加强版的组件被放在了循环神经网络中。具体地说，就是把循环神经网络中隐含层的小圆圈换成长短时记忆的模块，如下图所示。
ltsm本质： lstm引入自循环的巧妙构思，以产生梯度长时间持续流动的路径是初始lstm模型的核心贡献。其中一个关键扩展是使自循环的权重视上下文而定，而不是固定的。门控此自循环（由另一个隐藏单元控制）的权重，累积的时间尺度可以动态地改变。
lstm循环网络除了外部的rnn循环外，还具有内部的lstm细胞循环（自环）。
lstm 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 lstm 的默认行为，而非需要付出很大代价才能获得的能力。
lstm原理： lstm区别于rnn的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell。
一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入lstm的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘。
说起来无非就是一进二出的工作原理，却可以在反复运算下解决神经网络中长期存在的大问题。目前已经证明，lstm是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，导致带来的可能性变化非常多。各研究者根据lstm纷纷提出了自己的变量版本，这就让lstm可以处理千变万化的垂直问题。
lstm深度剖析： lstm 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。其包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。
sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”！
lstm 拥有三个门（输入门，遗忘门，输出门），来保护和控制细胞状态。
标准lstm： 1）决定丢弃信息：
2）确定更新的信息：
3）更新细胞状态：
4）输出信息：
lstm的变体： 1）peephole 连接：
2）coupled 忘记门和输入门：
3） gru（gated recurrent unit）：
lstm应用场景： lstm已经在科技领域有了多种应用。基于lstm的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别、图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等任务。
2015 年谷歌通过基于ctc 训练的 lstm 程序大幅提升了安卓手机和其他设备中语音识别的能力。百度也使用了 ctc；苹果的 iphone 在 quciktype 和 siri 中使用了lstm；微软不仅将lstm 用于语音识别，还将这一技术用于虚拟对话形象生成和编写程序代码等。亚马逊 alexa 通过双向lstm在家中与用户交流，而谷歌使用 lstm 的范围更加广泛，它可以生成图像字幕，自动回复电子邮件，它包含在新的智能助手allo中，也显著地提高了谷歌翻译的质量。目前，谷歌数据中心的很大一部分计算资源现在都在执行 lstm 任务。
结语： 长短期记忆网络lstm是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。lstm是使用rnn的一个飞跃。lstm算法在人工智能之机器学习、翻译语言、控制机器人、图像分析、文档摘要、语音识别、图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等领域有着广泛应用。
如何降低由阴影带来的发电量损失
2019年的自动驾驶是怎样的情况
Microchip推出集成PHY的新型EtherCAT从属控制器， 助力工业以太网与物联网应用
测速传感器电气原理图
斥资31亿美元，Uber收购运输网络公司Careem后获得中东业务
人工智能的重要算法之一--LSTM算法
华为Mate10什么时候上市？华为Mate10外观惊艳，重新出发！火力全开狙击iPhone8
PCB材料Dk测量值可靠性的探讨
分析C语言到底需要掌握哪些知识以及怎样去掌握
lm3886属于甲类功放吗
应用在水土壤水分检测中的国产电容传感芯片
边缘视频分析的需求
华为ARM架构“泰山”服务器真是自主芯片吗？
开关电源的PCB设计标准
你可能没听过“智能制造”，但它肯定改变了你的生活
如何治理减速机漏油问题
医院环境中设备协议转换的需求
抖音开新日×肯德基，联手打造快消行业新品发售新爆点
百度AI开发者大会在虚拟世界“希壤”举办
荣耀员工与高通团队深度交流，共同促进骁龙778G新机使用体验
ltsm概念： 长短时记忆神经网络lstm（long short–term memory）是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
与其说长短时记忆神经网络lstm是一种循环神经网络，倒不如说是一个加强版的组件被放在了循环神经网络中。具体地说，就是把循环神经网络中隐含层的小圆圈换成长短时记忆的模块，如下图所示。
ltsm本质： lstm引入自循环的巧妙构思，以产生梯度长时间持续流动的路径是初始lstm模型的核心贡献。其中一个关键扩展是使自循环的权重视上下文而定，而不是固定的。门控此自循环（由另一个隐藏单元控制）的权重，累积的时间尺度可以动态地改变。
lstm循环网络除了外部的rnn循环外，还具有内部的lstm细胞循环（自环）。
lstm 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 lstm 的默认行为，而非需要付出很大代价才能获得的能力。
lstm原理： lstm区别于rnn的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell。
一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入lstm的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘。
说起来无非就是一进二出的工作原理，却可以在反复运算下解决神经网络中长期存在的大问题。目前已经证明，lstm是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，导致带来的可能性变化非常多。各研究者根据lstm纷纷提出了自己的变量版本，这就让lstm可以处理千变万化的垂直问题。
lstm深度剖析： lstm 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。其包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。
sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”！
lstm 拥有三个门（输入门，遗忘门，输出门），来保护和控制细胞状态。
标准lstm： 1）决定丢弃信息：
2）确定更新的信息：
3）更新细胞状态：
4）输出信息：
lstm的变体： 1）peephole 连接：
2）coupled 忘记门和输入门：
3） gru（gated recurrent unit）：
lstm应用场景： lstm已经在科技领域有了多种应用。基于lstm的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别、图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等任务。
2015 年谷歌通过基于ctc 训练的 lstm 程序大幅提升了安卓手机和其他设备中语音识别的能力。百度也使用了 ctc；苹果的 iphone 在 quciktype 和 siri 中使用了lstm；微软不仅将lstm 用于语音识别，还将这一技术用于虚拟对话形象生成和编写程序代码等。亚马逊 alexa 通过双向lstm在家中与用户交流，而谷歌使用 lstm 的范围更加广泛，它可以生成图像字幕，自动回复电子邮件，它包含在新的智能助手allo中，也显著地提高了谷歌翻译的质量。目前，谷歌数据中心的很大一部分计算资源现在都在执行 lstm 任务。
结语： 长短期记忆网络lstm是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。lstm是使用rnn的一个飞跃。lstm算法在人工智能之机器学习、翻译语言、控制机器人、图像分析、文档摘要、语音识别、图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等领域有着广泛应用。
如何降低由阴影带来的发电量损失
2019年的自动驾驶是怎样的情况
Microchip推出集成PHY的新型EtherCAT从属控制器， 助力工业以太网与物联网应用
测速传感器电气原理图
斥资31亿美元，Uber收购运输网络公司Careem后获得中东业务
人工智能的重要算法之一--LSTM算法
华为Mate10什么时候上市？华为Mate10外观惊艳，重新出发！火力全开狙击iPhone8
PCB材料Dk测量值可靠性的探讨
分析C语言到底需要掌握哪些知识以及怎样去掌握
lm3886属于甲类功放吗
应用在水土壤水分检测中的国产电容传感芯片
边缘视频分析的需求
华为ARM架构“泰山”服务器真是自主芯片吗？
开关电源的PCB设计标准
你可能没听过“智能制造”，但它肯定改变了你的生活
如何治理减速机漏油问题
医院环境中设备协议转换的需求
抖音开新日×肯德基，联手打造快消行业新品发售新爆点
百度AI开发者大会在虚拟世界“希壤”举办
荣耀员工与高通团队深度交流，共同促进骁龙778G新机使用体验