首页 > 深度学习 > 正文

seq2seq

标签:seq2seq


目录

参考: gitchat:深度学习第三课:文本生成

1. 基础知识

1.1 one-hot词向量

需要正确区分one-hot表示与词向量

  • one-hot表示:n维向量,每个维度只能有{0,1}的取值,只能编码2^n种信息
  • 词向量表示:是一种distributed representation,即词嵌入(word embedding)。用更低维度的向量表示,每个维度的取值是实数。可以对抗维度灾难

1.2 句子的表示——rnn

可以证明,rnn是图灵完备的。rnn的公式如下:

\[ \\h_t=f_h(x_t,h_{t-1})=\phi_h(W^Th_{t-1}+U^Tx_t) \\y_t=f_O(h_t)=\phi_O(V_Th_t) \]


原创文章,转载请注明出处!
本文链接:http://hxhlwf.github.io/posts/dl-seq2seq.html
上篇: 虚拟环境中类似人类语言习得的深度组合性框架(A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment)
下篇: tf的seq2seq

comment here..