DQN在生成记忆库的过程中会更新神经网络么？

DQN在生成记忆库的过程中会更新神经网络么？
看到一些资料，先生成记忆库然后在训练，如果是这样，记忆库是一个不变的神经网络生成的，难道数据不会不准确吗？