我遇到的问题是，一个页面在连接访问一段时间后会禁止访问。但是换个浏览器就可以继续访问。这个通过cookie进行封锁的网页怎么抓取，前提是没有登录。他是一个cookie有一定的访问次数限制，到达次数后就会被疯掉，然后换一个浏览器就可以继续访问
你爬虫还用浏览器？用服务器端httprequest对象，httprequest不附带cookie，每次会启用新会话
我用的httpClient写的爬虫，你的意思是在写头部信息中不添加cookie这个字段信息呗？？？