关于#爬虫#的问题:百度为您找到相关结果约100,000,000个 但只展现70页 有没有可能提取出来全部的搜索结果

百度搜索结果 提示 百度为您找到相关结果约100,000,000个 但只展现70页 有没有可能提取出来全部的搜索结果

换了别的搜索工具也是这种情况
或者能自己根据关键词抓取 请提供大概思路

只有70页,不能手动转下一页吗?

百度只显示搜索结果的前几页,并不提供所有搜索结果的数据。

从技术上来说,可以提取出全部的数据;但是从产品上来说,不能提取全部,否则需要的内存和等待时间会让用户无法等待,可能一次搜索就需要等待几个小时才能得到结果

约100,000,000个 但只展现70页 ===这是合理的;

有没有可能提取出全部结果====是有可能的;

展现多少就是搜得出多少,遮蔽了的,搜不到。

我天天搜索都不能做到,我搞网安的

不会

不可能提取出来全部的搜索结果。百度的搜索结果是按照算法进行排序的,比如按照相关度、权重等,因此,每次搜索的结果都会有所不同,而且还会根据用户的搜索行为进行实时更新。

这是对的,搜索到的总条目并不是你能实际爬出来的条目数,因为百度的搜索结果是按照算法进行排序的,比如按照相关度、权重等,因此,每次搜索的结果都会有所不同。

百度搜索结果页最多只能展示70页,无法抓取出来全部的结果。但是您可以使用爬虫工具,根据关键词抓取数据。爬虫工具可以自动通过关键词搜索页面,匹配相关的数据,然后将抓取的数据保存到本地文件中,以供下一步的处理。

  • 我记得以前看到过一篇文章,为什么搜索引擎最高只显示76页,大概原因是多方衡量的结果,一个人也不可能无限翻页查看,最多查看个几十页。更何况,排在后面的搜索结果与搜索条件的匹配度很低了,参考意义已经不大。

  • 如果要获取全部搜索结果,应该不可能,哪怕是不断更换搜索条件,再将结果去重也很难全部搜索到。