python为什么修改了headers之后反而出错了?

用python写了个简单的爬虫,但是由于被识破了所以想修饰一下,于是改了代理headers,但是改完之后对BeautifulSoup里所有的find操作都失败了,改之前是会返回503访问失败,现在是返回200但是find不到东西了。求教

你可以先看看你请求返回的数据,一般是你修改的header还是被识别出来了,所以服务器没有返回有效的数据。后面find自然找不到了。

抓包看下,你的请求和浏览器的有什么不同。你说修改代理headers,是修改的x-foward-for么?有的服务器直接读你原来的ip而忽略这个,甚至有双重判断。如果这样,只能换ip

有可能修改之后,响应的数据不一样了,就不是你看到的那个数据了。