爬虫通过URL访问网页,发现被屏蔽

第一条URL可以访问,第二条就不行,页数被限制在9.

https://www.chinabidding.com/search/proj.htm?zoneCode=46*&pubDate=2&infoClassCodes=0108&currentPage=9
https://www.chinabidding.com/search/proj.htm?zoneCode=46*&pubDate=2&infoClassCodes=0108&currentPage=10

这是为什么呢?

首先确认浏览器能正常访问页码为10以后的,如果浏览器都不能正常访问那应该程序限制了只允许访问最新9页的结果。
能访问可以通过浏览器开发工具看下10页之后是不是新增了什么请求头,要加上。

不过话说题主这个2个网站能访问吗?我这里显示504连接源站超时