优化神经网络训练方法有哪些？

优化神经网络训练方法有哪些？
请问 使用梯度积累，使用梯度裁剪，除了这二个方法还有别的吗

1 考虑换一种学习率 schedule
2 在 DataLoader 中使用多个 worker 和页锁定内存
3 把 batch 调到最大
4 使用自动混合精度（AMP）
5 考虑使用另一种优化器
6 cudNN 基准
7 使用梯度积累
8 使用梯度裁剪

优化深度学习模型的方法只有梯度下降。但是加速训练过程的方法有很多，具体可以分为在下图的四个阶段加速训练过程，详情可以参考https://hpg123.blog.csdn.net/article/details/124480157

在加速训练过程，除了上述博文的内容。还有
1、优化器的选择，
2、学习率调度器的选择，
3、数据增强策略的设置，
4、图像分辨率从小到大，
5、训练模型前进行预热
6、使用深度监督策略