多层rnn
两个例子 GRU,LSTM,但是层数都没有什么增加。
在线性模型内,添加层数很简单,但是对于一个rnn如何添加层数。
没有期待一个简单的单层rnn及其变种能够捕捉股市的非常复杂的信息。
以前是 X1->H1->O1, (X2,H1)->H2->O2, (X3,H2)->H3->O3
现在是 X1->H1(1), H1(2) …H1(n)->O1, (X3, H1(1), H1(2), H1(3)…H1(n)) ->H2(1), H2(2) … H2(n)->O3
公式:
Ht(l) = activate( Ht(l-1)Wxh(l) + Ht-1(l)Whh(l) + Bh(l) )
一个隐藏层,需要除了时间步t,还有层数l,输入来自H(t)(l-1),H(t-1)(l)
再torch里面:
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers) 这里可以指定num_hiddens超参数。
图