循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用
1. Pytorch中LSTM和GRU模块使用
1.1 LSTM介绍
LSTM和GRU都是由torch.nn
提供
通过观察文档,可知LSTM的参数,
torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout,bidirectional)
input_size
:输入数据的形状,即embedding_dim
hidden_size
:隐藏层神经元的数量,即每一层有多少个LSTM单元 【自己设置的】
num_layer
:即RNN中的LSTM单元的层数
batch_first
:默认值为False,输入的数据需要[seq_len,batch,feature]
,如果为True,则为[batch,seq_len,feature]
dropout
:dropout的比例,默认值为0。dropout是一种训练过程中让部分参数随机失活的一种方式,能够提高训练速度,同时能够解决过拟合的问题。这里是在LSTM的最后一层,对每个输出进行dropout 【失活即参数不会更新】
bidirectional
:是否使用双向LSTM,默认是False
【例:torch.nn.LSTM(input_size=emebedding_dim, hidden_size=lstm单元的个数,num_layers=层数,batch_first=数据中batch_size是否在第一个维度)】
实例化LSTM对象之后,不仅需要传入数据,还需要前一次的h_0(前一次的隐藏状态)和c_0(前一次memory)
即:lstm(input,(h_0,c_0))
LSTM的默认输出为output, (h_n, c_n) 【和的形状一样,和的形状也是一样的】
output
:(seq_len, batch, num_directions * hidden_size)
--->batch_first=False
h_n
:(num_layers * num_directions, batch, hidden_size)
c_n
:(num_layers * num_directions, batch, hidden_size) 【nun_directions为1或2,单向为1,双向为2】
【output:把每个实时间步上的结果在seq_len这一维度进行了拼接;:把不同层的隐藏状态在第0个维度上进行了拼接】
1.2 LSTM使用示例
假设数据输入为 input ,形状是[10,20]
,假设embedding的形状是[100,30]
则LSTM使用示例如下:
import torchbatch_size = 10 # 句子的数量seq_len = 20 # 每个句子的长度embedding_dim = 30 # 用长度为30的向量表示一个词语word_vocab = 100 # 词典的数量hidden_size = 18 # 隐藏层中lstm的个数num_layer = 2 # 多少个隐藏层# 准备输入数据,构造一个batch的数据in_put = torch.randint(low=0, high=100, size=(batch_size, seq_len))# 准备embeddingembedding = torch.nn.Embedding(word_vocab, embedding_dim) # 把embedding之后的数据传入lstmlstm = torch.nn.LSTM(embedding_dim, hidden_size, num_layer)# 进行mebed操作embed = embedding(in_put) # [10, 20, 30]# print(embed)# 转化数据为batch_first=Falseembed = embed.permute(1, 0, 2) # [20, 10, 30]print(embed)# 初始化状态,如果不初始化,torch默认初始值为全0h_0 = torch.rand(num_layer, batch_size, hidden_size)c_0 = torch.rand(num_layer, batch_size, hidden_size)out_put, (h_1, c_1) = lstm(embed, (h_0, c_0))print(out_put.size())print(h_1.size())print(c_1.size())# 获取最后一个时间步上的输出last_output = out_put[-1, :, :]print(last_output.size())# 获取最后一次的hidden_statelast_hidden_state = h_1[-1, :, :]print(last_hidden_state.size())print(last_hidden_state)# 通过前面的学习,我们知道,最后一次的h_1应该和output的最后一个time step的输出是一样的# 通过下面的代码,我们来验证一下:print(last_output == last_hidden_state)
运行结果:
1.3 GRU的使用示例
GRU模块torch.nn.GRU
,和LSTM的参数相同,含义相同,具体可参考文档
但是输入只剩下gru(input,h_0)
,输出为output, h_n
其形状为:
output
:(seq_len, batch, num_directions * hidden_size)
h_n
:(num_layers * num_directions, batch, hidden_size)
大家可以使用上述代码,观察GRU的输出形式
【gru=torch.nn.GRU(embedding_dim,hidden_size,num_layer)gru_output,gru_h_1=gru(embed,h_0)】
1.4 双向LSTM
如果需要使用双向LSTM,则在实例化LSTM的过程中,需要把LSTM中的bidriectional设置为True,同时h_0和c_0使用num_layer*2
观察效果,输出为
import torchbatch_size = 10 # 句子的数量seq_len = 20 # 每个句子的长度embedding_dim = 30 # 用长度为30的向量表示一个词语word_vocab = 100 # 词典的数量hidden_size = 18 # 隐藏层中lstm的个数num_layer = 2 # 多少个隐藏层# 准备输入数据,构造一个batch的数据in_put = torch.randint(low=0, high=100, size=(batch_size, seq_len))# 准备embeddingembedding = torch.nn.Embedding(word_vocab, embedding_dim) # 把embedding之后的数据传入lstmlstm = torch.nn.LSTM(embedding_dim, hidden_size, num_layer, bidirectional=True)# 进行mebed操作embed = embedding(in_put) # [10, 20, 30]# print(embed)# 转化数据为batch_first=Falseembed = embed.permute(1, 0, 2) # [20, 10, 30]print(embed)# 初始化状态,如果不初始化,torch默认初始值为全0h_0 = torch.rand(num_layer * 2, batch_size, hidden_size)c_0 = torch.rand(num_layer * 2, batch_size, hidden_size)out_put, (h_1, c_1) = lstm(embed, (h_0, c_0))print(out_put.size())print(h_1.size())print(c_1.size())# 获取最后一个时间步上的输出last_output = out_put[-1, :, :]print(last_output.size())# 获取最后一次的hidden_statelast_hidden_state = h_1[-1, :, :]print(last_hidden_state.size())print(last_hidden_state)
运行结果:
在单向LSTM中,最后一个time step的输出的前hidden_size个和最后一层隐藏状态h_1的输出相同,那么双向LSTM呢?
双向LSTM中:
output:按照正反计算的结果顺序在第2个维度进行拼接,正向第一个拼接反向的最后一个输出
hidden state:按照得到的结果在第0个维度进行拼接,正向第一个之后接着是反向第一个
前向的LSTM中,最后一个time step的输出的前hidden_size个和最后一层向前传播h_1的输出相同
示例:
# 正向# -1是前向LSTM的最后一个,前18是前hidden_size个# 获取双向LSTM中正向的最后一个时间步的outputa = out_put[-1, :, :18] # 前项LSTM中最后一个time step的outputprint(a.size())# 获取双向LSTM中正向的最后一个hidden_stateb = h_1[-2, :, :] # 倒数第二个为前向print(b.size())print(a == b)
运行结果:
2.后向LSTM中,最后一个time step的输出的后hidden_size个和最后一层后向传播的h_1的输出相同
示例:
# 反向# 0 是反向LSTM的最后一个,后18是后hidden_size个c = out_put[0, :, 18:] # 后向LSTM中的最后一个输出print(c.size())d = h_1[-1, :, :] # 后向LSTM中的最后一个隐藏层状态print(d.size())print(c == d)
运行结果:
1.4 LSTM和GRU的使用注意点
第一次调用之前,需要初始化隐藏状态,如果不初始化,默认创建全为0的隐藏状态
往往会使用LSTM or GRU 的输出的最后一维的结果,来代表LSTM、GRU对文本处理的结果,其形状为[batch, num_directions*hidden_size]
。【因为最后一维已经包含之前的结果啦】
并不是所有模型都会使用最后一维的结果
如果实例化LSTM的过程中,batch_first=False,则output[-1] or output[-1,:,:]
可以获取最后一维
如果实例化LSTM的过程中,batch_first=True,则output[:,-1,:]
可以获取最后一维
如果结果是(seq_len, batch_size, num_directions * hidden_size)
,需要把它转化为(batch_size,seq_len, num_directions * hidden_size)
的形状,不能够不是view等变形的方法,需要使用output.permute(1,0,2)
,即交换0和1轴,实现上述效果 【使用轴交换】
使用双向LSTM的时候,往往会分别使用每个方向最后一次的output,作为当前数据经过双向LSTM的结果
即:torch.cat([h_1[-2,:,:],h_1[-1,:,:]],dim=-1)
最后的表示的size是[batch_size,hidden_size*2]
上述内容在GRU中同理