自注意力机制属于软注意力机制吗
我想问个问题，最近看了很多关于注意力机制方面的文章，有一个困扰了比较久的问题，就是自注意力机制到底属不属于软注意力机制。按照软硬注意力机制的分类标准，只要是能计算出权重并且根据反向传播完成权重更新的就叫软注意力机制，那这样来看自注意力机制应该属于软注意力机制。但是很多文章又把自注意力机制说成是独立于软硬注意力机制这个分类体系之外的一种注意力机制，就挺疑惑的，有没有人能解答一下。
不知道你这个问题是否已经解决, 如果还没有解决的话:- 你可以看下这个问题的回答https://ask.csdn.net/questions/7588239
- 这篇博客你也可以参考下：数字化改造大宗商品供应链 ，为大宗商品贸易增添活力
- 除此之外, 这篇博客: 三元组中的自注意力机制&多头自注意力机制中的 多头自注意力机制 部分也许能够解决你的问题, 你可以仔细阅读以下内容或者直接跳转源博客中阅读:
多头的实际执行就是执行多次注意力机制（每次的参数是不同），每一次注意力机制都会生成一个对应的
，这些
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^