没有明显报错信息, 网址也是正常访问状态.
不知道你这个问题是否已经解决, 如果还没有解决的话:先来看字面意思:框架。
一般来说,框架来源于建筑学,往往指建筑主体已经搭建好了,剩下的只是细枝末节的一些东西,比如安个门、砌一堵墙、开个窗户等等,不需要对框架本身做出大的改动。
盖房子的流程:打地基 --> 梁板柱 ->> 砌墙 ->>外饰
同样的,大家想一下,我们在编写爬虫的时候,是不是经常做一些重复性的东西?
比如:发送网络请求【反反爬虫机制(设置请求头等)】 ->> 数据解析 ->> 数据存储等。
所以scrapy框架就帮助我们搭建好了整个流程,最后我们只需要对这个框架做一些细小的改动即可。
私聊我,手摸手帮你扫平一切爬虫相关问题