列表

详情


47. 请你说说RNN的原理

回答思路

RNN是一类以序列数据为输入,在序列的演进方向进行递归,且所有节点单元按照链式连接的递归神经网络。RNN对具有序列特性的数据非常有效,能够挖掘数据中的时序信息以及语义信息。(RNN是什么)

图1 RNN节点单元示意图

以语义识别举例,对于句子“you play basketball”,上图中的x_t-1代表的就是you这个单词的向量,x代表的是play这个单词的向量,x_t+1代表的是basketball这个单词的向量,以此类推。对于展开图来说,其中W作为每个时间点之间的权重矩阵一直没有变,而RNN之所以能够解决序列数据问题,是因为可以“记住”每一时刻的信息,每一时刻的隐藏层不仅由该时刻的输入层决定,还由上一时刻的隐藏层决定。网络在t时刻接收到输入x_t之后,隐藏层的值是s_t,输出值是o_t,而s_t的值不仅取决于x_t,还取决于s_t-1,公式如下:

上一题