我要用scrapy框架采集黑马程序员里的视频信息,我的代码为什么运行不了,求解!

img


我要用scrapy框架采集黑马程序员里的视频信息,我的代码为什么运行不了,求解!

404了

  • 这个问题的回答你可以参考下: https://ask.csdn.net/questions/7482293
  • 我还给你找了一篇非常好的博客,你可以看看是否有帮助,链接:爬虫Scrapy框架项目运行时报错!求解决!
  • 除此之外, 这篇博客: 1.scrapy框架介绍中的 一、什么是scrapy框架? 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  • 先来看字面意思:框架。

    一般来说,框架来源于建筑学,往往指建筑主体已经搭建好了,剩下的只是细枝末节的一些东西,比如安个门、砌一堵墙、开个窗户等等,不需要对框架本身做出大的改动。

    盖房子的流程:打地基 --> 梁板柱 ->> 砌墙 ->>外饰

    同样的,大家想一下,我们在编写爬虫的时候,是不是经常做一些重复性的东西?

    比如:发送网络请求【反反爬虫机制(设置请求头等)】 ->> 数据解析 ->> 数据存储等。

    所以scrapy框架就帮助我们搭建好了整个流程,最后我们只需要对这个框架做一些细小的改动即可。

  • 您还可以看一下 胡书敏老师的从零开始项目实战:从数据分析到数据挖掘课程中的 用豆瓣爬Scrapy编程图书小节, 巩固相关知识点