我们用爬虫爬数据的时候，怎么应对反爬虫，尤其是应对阿里的反爬虫

我们用爬虫爬数据的时候，怎么应对反爬虫，尤其是应对阿里的反爬虫

人家怎么防你就怎么破了，要是人家限制ip，你就多用几个IP去访问。如果你只是想采集数据，那用火车头采集器咯。阿里应该不防IP。

人家怎么防你就怎么破了，要是人家限制ip，你就多用几个IP去访问。如果你只是想采集数据，那用火车头采集器咯。阿里应该不防IP。试试

http://blog.csdn.net/youmumzcs/article/details/51396283

在爬虫使用http代理爬取数据的的过程中，采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以你一直用同一个代理IP爬取这个网页，很大概率这个IP会被禁止访问，基本上做爬虫的都绕不过去爬虫代理IP的问题,需要很多的IP资源来实现自己IP地址的不停切换，达到正常抓取数据的目的。[](ht高质代理http，免费测试，可以戳他了解一下http://h.zhimaruanjian.com/?utm-source=hm1&utm-keyword=?可以每天领取免费ip，不吃亏

爬虫中很多网站采取了防爬取技术，做好爬虫工作，可选择高匿代理ipidea海量的全球资源稳定安全，隐藏ip同时还可以增加缓冲以达到提高访问速度的目的。