加入注意力机制的LSTM网络 处理时间序列预测问题,目的是想利用注意力机制探索时间步的权重。但是根据d2l包画出的权重热力图如下,
1、热力图上基本都是浅色-代表有一个点处权值特别大,但是其他的点权值都很小,这是正常现象么,如果不是的话那这又代表什么问题?
2、我的数据维度是(batch_size = 16,num_step = 150 , num_features = 1),但是注意力权值attention_weights的维度是(799, 150, 150),那我画热力图的时候这799个热力图都不一样,每个热力图给时间步分配的权值也不一样,那我应该怎么理解时间步上的权值?
这个是对attention_weights 第0个维度求和 得到(150,150)维度的热力图
以下以此是i=[20,30,50,90,140,320,500]时候的热力图
d2l.show_heatmaps(model.attention.attention_weights[i].cpu().reshape((1, 1, 150,150)),xlabel='Keys', ylabel='Queries')
20
30
50
90
140
320
500
```
你把问题再说完整或者嗯写一下需求发给我