发现在机器学习中,很多seq2seq的encoder内,在使用gru前会使用一次rnn或者cnn先进行一次卷积,请问这个cnn或rnn过程有什么用?
这个一般是根据任务特点而定的,不同的任务要根据这个任务的特点来选择网络结构。从你的问题描述,我猜测可能的情况是(以NLP任务为例):1. 使用CNN对字向量进行卷积得到词向量,再将词向量输入到GRU中,是一种从字到词,再从词到句子的层次编码结构;2. GRU是序列结构的神经网络,可以编码语序信息,CNN是是卷积结构,可以获得句子中的局部词组信息,将两种信息结合在一起,可能会得到更好的效果。
P.s. 不知道你说的RNN,是recurrent neural network ,还是recursive neural network。我猜测是后者,因为前者是GRU的前身,后者是编码层次结构的网络。