torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 38.00 MiB (GPU 0; 8.00 GiB total capacity; 7.23 GiB already allocated; 0 bytes free; 7.28 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
cuda内存不够，代码报错这行还有机会吗
模型已经超过内存了，什么叫还有机会？要么你就多GPU跑，要么将模型参数和梯度转换成低精度浮点数
建议加载8bit或者4bit量化后的模型。
可以参考下面的思路来解决此问题：
1.增加PyTorch可用的内存量。可以通过增加PyTorch CUDA配置中的max_split_size_mb参数的值来完成此操作。此参数指定GPU上分配的每个缓冲区的最大大小。可以通过在Python脚本中添加以下行来设置它，例如：
import torch
torch.cuda.set_allocator_config(max_split_size_mb=64)
2.可以通过冻结一些对任务不重要的层来减小模型的大小。
3.减少批量大小将减少每次前向传递所需的内存量。
4.检查数据是否包含任何内存密集型对象，如大图像或音频片段。如果是，请考虑缩小这些对象的大小或对其进行二次采样。
5.如果有多个可用的GPU，尝试使用可能具有更多可用内存的不同GPU。
6.尝试修改模型体系结构，以减少参数的数量或减小模型的大小。
7.考虑使用不同的深度学习框架，如TensorFlow或Keras，它们可能具有更好的内存管理功能。
8.如果模型足够大，并且可以拆分为多个部分，使用多个GPU来并行化模型并加快训练速度。
注意pytorch在test时，一定要加上:
with torch.no_grad():
outputs = Net_(inputs) ---错误代码的位置。
不计算梯度，否则会使显存加倍导致OOM错误。
针对该问题，有以下几个可能的解决方案：
根据参考资料段落0的建议，可以考虑将batch_size减小，例如从256减小到128或者更小。这样可以降低每次运算需要分配的内存大小。
根据参考资料段落1的建议，在训练模型时加入with torch.no_grad():语句，可以避免需要计算梯度的操作所占用的内存。
根据错误提示信息中的建议，可以考虑调整max_split_size_mb以避免内存碎片。可以在配置文件中将max_split_size_mb的值设为更小的值，例如参考资料段落2中建议的方式。
根据参考资料段落3的建议，可以使用torch.cuda.empty_cache()函数清理GPU缓存，以释放内存。
根据参考资料段落4的建议，如果是因为当前要使用的GPU正在被占用所导致的内存不足，可以考虑切换到其他的可用GPU，或者杀掉占用GPU的进程。使用nvidia-smi命令可以查看当前正在GPU上运行的进程，然后使用kill命令杀掉占用GPU的进程。注意，如果不确定杀掉的进程是否可以被关闭，建议先备份相关进程的数据和状态。
你这个错误报的是CUDA内存不足的问题，最直接的反应就是内存不够用，换个好显卡即可。但是如果没有没有这个条件，你也可以，首先运行torch.cuda.empty_cache()函数。加在训练开始前即可。其次，杀掉一些不需要用到的进程。最后就是只能调整你的模型的参数，比如减小batch_size。降低num_workers等等
加内存，或者减少数据的冗余
把batch切小一些，或者看看模型有没有计算量过大步骤能不能精简，再看看输入大小能不能调
已经提示内存不够，就只能加内存了，或者通过分布式、减低精度等方法减少内存的消耗
参考gpt：
当出现torch.cuda.OutOfMemoryError: CUDA out of memory错误时，表示在GPU上分配内存时超出了可用的内存容量。这通常是由于模型或数据的大小超过了GPU的限制所致。
以下是几种可能的解决方法：
这个错误是由于PyTorch尝试在GPU上分配内存时，GPU内存已经全部分配完毕，因此无法继续分配内存而引起的。出现这个错误的原因可能是模型或数据集过大，或者GPU内存不足。
解决这个问题的方法有以下几种：