RECURRENT NEURAL NETWORK

循环神经网络 (RNN)

具有记忆能力的神经网络,通过循环连接处理序列数据,适合文本、语音等时序任务

文本生成演示

输入文本

生成结果

今天天气真

已生成字符
0
生成步数
0

RNN网络结构

ht-1
RNN
xt-1
时间步 t-1
ht
RNN
xt
时间步 t
ht+1
RNN
xt+1
时间步 t+1

记忆机制

  • 隐藏状态在时间步之间传递,保存历史信息
  • 每个时间步都使用相同的权重参数
  • 可以处理任意长度的序列数据
  • 通过反向传播训练网络参数

核心公式

隐藏状态更新
ht = tanh(Whht-1 + Wxxt + b)
输出计算
yt = Wyht + by

记忆状态可视化

1
输入字符
今
隐藏状态
0.8
预测输出
天
2
输入字符
天
隐藏状态
0.85
预测输出
天
3
输入字符
天
隐藏状态
0.9
预测输出
气
4
输入字符
气
隐藏状态
0.88
预测输出
真
5
输入字符
真
隐藏状态
0.92
预测输出
不

RNN变体架构

LSTM

Long Short-Term Memory

长短期记忆网络,通过门控机制解决长期依赖问题

遗忘门
输入门
输出门
记忆单元

GRU

Gated Recurrent Unit

门控循环单元,LSTM的简化版本,参数更少

重置门
更新门
候选隐藏状态
更快训练

实际应用场景

自然语言处理

文本生成、机器翻译、情感分析等任务

文本生成
机器翻译
情感分析
命名实体识别

语音识别

将语音信号转换为文本,理解语音内容

语音转文字
语音助手
语音搜索
实时字幕

时序预测

预测股票价格、天气、交通流量等时序数据

股票预测
天气预报
流量预测
异常检测
Talk with Us