我的CPU才显示百分之六十,内核就挂掉了,为什么啊😱,在网上也找不到解决办法
chatgpt:
这种情况可能是由于 jupyter notebook 内存限制导致的。在模型训练过程中,如果需要加载大量数据或者模型过于庞大,会导致内存占用过高,而 jupyter notebook 默认的内存限制可能无法满足需求,进而导致内核挂掉。
解决方法有几种:
增加 jupyter notebook 的内存限制:可以在启动 jupyter notebook 时使用 --NotebookApp.max_buffer_size=XXXX 参数来增加内存限制,其中 XXXX 为字节数,比如可以设置为 --NotebookApp.max_buffer_size=4294967296 (即 4GB)。
减少内存占用:可以通过对数据进行降维、分批加载、释放无用变量等方式来减少内存占用,从而避免内核挂掉。
使用其他工具:如果以上方法仍然无法解决问题,可以考虑使用其他工具进行模型训练,比如使用命令行或者编写脚本进行训练,这些方式可以更加灵活地控制内存和 CPU 占用。
看看是不是爆显存了,或者GPU驱动不稳定,显卡驱动一定不要最新的,要找推荐专门搭配cudnn的稳定的版本
缩小你的模型和batchsize,避免爆显存。
还有尽量不要用笔记本显卡
要想在jupyter中使用刚刚创建的虚拟环境,需要进入刚才的虚拟环境中安装ipykernel:pip install ipykernel
或者在base环境下:conda install -n name ipykernel
,两种方法没区别,都能用。
接着修改配置文件(最重要的一步),进入Anaconda安装目录:F:\Python\Anaconda\share\jupyter\kernels,在里面新建一个文件夹,将python文件夹里的三个文件全部复制过去(如下),
修改kernel.json的两个地方:
{
"argv": [
"F:\Python\Anaconda\envs\name\python.exe",#这里是你创建虚拟环境的目录
"-m",
"ipykernel_launcher",
"-f",
"{connection_file}"
],
"display_name": "name",#你希望在jupyter里看见的虚拟环境的名字,这里就和创建的虚拟环境名称保持一致
"language": "python"
}
启动jupyter,这时候在右上角new选项里就有刚刚创建的虚拟环境,如下:
想用哪个虚拟环境点哪个,或者可以在kernel里面切换:
注意:好像也可以直接在虚拟环境里面重新装jupyter,这样电脑上就会有多个jupyter notebook,就看大家怎么选择了。网上大部分都说装nb_conda
,我试了n次都不行(好像装完这个包以后才能重新安装jupyter notebook),包括别的方法,只有这种有效(有大佬成功的还望指教一二)。在此谢谢那位大佬,原始链接找不到了,找到了再贴上。