jupyter notebook 在模型训练时,CPU没满,内核就挂掉了

我的CPU才显示百分之六十,内核就挂掉了,为什么啊😱,在网上也找不到解决办法

chatgpt:
这种情况可能是由于 jupyter notebook 内存限制导致的。在模型训练过程中,如果需要加载大量数据或者模型过于庞大,会导致内存占用过高,而 jupyter notebook 默认的内存限制可能无法满足需求,进而导致内核挂掉。

解决方法有几种:

增加 jupyter notebook 的内存限制:可以在启动 jupyter notebook 时使用 --NotebookApp.max_buffer_size=XXXX 参数来增加内存限制,其中 XXXX 为字节数,比如可以设置为 --NotebookApp.max_buffer_size=4294967296 (即 4GB)。
减少内存占用:可以通过对数据进行降维、分批加载、释放无用变量等方式来减少内存占用,从而避免内核挂掉。
使用其他工具:如果以上方法仍然无法解决问题,可以考虑使用其他工具进行模型训练,比如使用命令行或者编写脚本进行训练,这些方式可以更加灵活地控制内存和 CPU 占用。

看看是不是爆显存了,或者GPU驱动不稳定,显卡驱动一定不要最新的,要找推荐专门搭配cudnn的稳定的版本
缩小你的模型和batchsize,避免爆显存。
还有尽量不要用笔记本显卡

  • 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7657138
  • 你也可以参考下这篇文章:Jupyter notebook中导入虚拟环境及其中的第三方库包
  • 除此之外, 这篇博客: jupyter notebook使用虚拟环境中的 4.在jupyter中使用虚拟环境 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  •   要想在jupyter中使用刚刚创建的虚拟环境,需要进入刚才的虚拟环境中安装ipykernel:pip install ipykernel或者在base环境下:conda install -n name ipykernel,两种方法没区别,都能用。
      接着修改配置文件(最重要的一步),进入Anaconda安装目录:F:\Python\Anaconda\share\jupyter\kernels,在里面新建一个文件夹,将python文件夹里的三个文件全部复制过去(如下),
    在这里插入图片描述
    修改kernel.json的两个地方:

      {
        "argv": [
          "F:\Python\Anaconda\envs\name\python.exe",#这里是你创建虚拟环境的目录
          "-m",
          "ipykernel_launcher",
          "-f",
          "{connection_file}"
        ],
        "display_name": "name",#你希望在jupyter里看见的虚拟环境的名字,这里就和创建的虚拟环境名称保持一致
        "language": "python"
      }
    

    启动jupyter,这时候在右上角new选项里就有刚刚创建的虚拟环境,如下:
    在这里插入图片描述
    想用哪个虚拟环境点哪个,或者可以在kernel里面切换:
    在这里插入图片描述
    注意:好像也可以直接在虚拟环境里面重新装jupyter,这样电脑上就会有多个jupyter notebook,就看大家怎么选择了。网上大部分都说装nb_conda,我试了n次都不行(好像装完这个包以后才能重新安装jupyter notebook),包括别的方法,只有这种有效(有大佬成功的还望指教一二)。在此谢谢那位大佬,原始链接找不到了,找到了再贴上。

  • 您还可以看一下 机工社华章IT老师的机器学习和AI精粹课程中的 机器学习、AI与Python及Jupyter Notebook基本介绍小节, 巩固相关知识点