一开始在bing上爬取领英用户的所在地之类的,但是发现用scrapy的时候有一些页面是正常的就像这样:
但有非常多的html页面爬取下来是这样:
就是,location和title这种关键字直接就不见了,大概有百分之六十这样的网页,比例很不正常,大多数的网页应该是第一张那个样子
完全想不出来导致的原因可能是什么,,,搜了半天也没搜到类似的情况,求大佬们帮助orz
可能页面就是这样的,你做下兼容处理就好了
您好,我是有问必答小助手,你的问题已经有小伙伴为您解答了问题,您看下是否解决了您的问题,可以追评进行沟通哦~
如果有您比较满意的答案 / 帮您提供解决思路的答案,可以点击【采纳】按钮,给回答的小伙伴一些鼓励哦~~
ps:问答VIP仅需29元,即可享受5次/月 有问必答服务,了解详情>>>https://vip.csdn.net/askvip?utm_source=1146287632