我爱占星网 我爱占星网
首页
编程
java
php
前端
首页 编程 java php 前端

scrapy在创建爬虫文件时候url的错误

在控制台打的是这个命令
地址是: https://www.autohome.com.cn/b/

img

但是当我打开爬虫文件,看到里面的

start_urls = ["http://www.autohome.com.cn/"]

img


只能爬网站的主页吗?

是这样的,没问题。scrapy认为加了/b/的不是一个正确的网站,因为一般的网站首页都是.com .cn这样结尾的。所以默认去掉了后面的。需要自己手动修改的。

近期文章

  • 关于css3权重问题
  • 验签遭遇异常,content=null sign=null
  • 输出二维数组并输出这几个数的最大最小行列,这样做怎么改正
  • uniapp共享微信云函数
  • 一棵深度为k的满二叉树的结点总数为(2^k-1)一棵深度为k的完
  • 🆘机器学习!如何实现辨别6个不同的琴键声音呢?
  • c语言 Switch case 问题
  • python字符串练习 在社交软件聊天的应用
  • VBA里mouse_event问题:运行移动完后为什么会自动点击右键啊
  • json_decode(json_encode(索引数组))给出NULL
  • 为什么C语言会输出一堆奇怪的数字
  • C++动态规划DP题
  • Java Jpanel_3一直报错
  • 百度翻译爬虫放回json出现错误
  • c语言指针数组问题1
  • printf中"int" 类型的实参与 "const char *" 类型的形参不兼容
  • python列表问题
  • ue打包非编辑器构建不能依赖于不可再发行组件
  • 我用Goplot画弦图的时候遇到了这个问题,有人能解答一下吗
  • 没有上传进度模块或APC的PHP进度条

Copyright ©2022 我爱占星 All Rights Reserved.

浙ICP备2022030071号-1

部分图文来自网络,如有侵犯您的版权,请告诉我们删除

友情链接:代码精华