爬虫过程中同一URL是不同的网页内容,这样的可能会漏掉很多网页,这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容,但URL是一样的,爬虫应该采取什么措施防止漏掉这些页面

直接拿到不同城市请求的那个URL,然后获取内容

肯定有参数判断是那个 城市,你爬虫的时候将 城市的参数 带着。

在网址栏中点击不同的城市显示的URL是一样的,怎么拿到不同城市请求的URL