因为工作需要,python 在内存中存储了部分词向量(初始化时生成,数据量不大,应该只有几mb左右),每一个进程初始化大概需要4秒左右。
准备用gunicorn开多进程的方式部署线上环境,在设置时发现w数目在6以下可以运行,w数目超过6会报以下错误:
Exception in thread Thread-1 (most likely raised during interpreter shutdown):[2018-09-03 12:54:51 +0000] [14692] [INFO] Shutting down: Master
[2018-09-03 12:54:51 +0000] [14692] [INFO] Reason: Worker failed to boot.
初步怀疑与每个进程的内存限制有关(以前没有加词向量的版本开10进程没有问题)。但看文档没有找到相关的解释,哪位大神能解答下什么原因?非常感谢!
查看一下系统的设置等,ulimit,然后启动的时候,top等看看系统本身的资源是不是已经比较紧张了。随意启动进程失败了