想实现一个爬虫,可以抓取指定网页中的内容。
但是由于网络、本机等等原因,很容易就造成程序卡死,也试着找各种方法解决,都未实现。
现在的思路是:
写一个定时器(比如说10min),让程序每隔10min重新运行一次,同时杀死正在运行的程序。
现状:使用了schedule模块,但是这个好像是程序运行结束的10min后运行一次。
这个问题烦了好多天,自己的思路可能比较初级,如果有更好的方法,也是可以的。
还有,最好是用实例的形式,太专业我感觉自己理解会有困难。
你可以用time模块进行计时,每过10分钟先用os.system()重新打开程序,然后调用sys.exit()关闭旧进程
如果有用,希望采纳哦~
你可以使用系统的任务计划程序去做定时任务。控制面板-管理工具-计划任务程序-创建任务。指向py脚本,设置相关执行时间等。
如果你指的卡死是卡在某个请求的话,可以试试设置 timeout 来解决。继续请求的话,可以使用 try except 捕获到异常后休眠一会,再次请求