我采集淘宝的数据,频率稍微高一点就空白,用浏览器访问也是一样,不停的按F5,刷新个十几秒页面就空白的,等个一会又好了,有什么办法吗?
建立代理IP池,随机分配IP采集网址,时间页面采集间隔设置10秒+随机0~100秒(停留时间)
说难听点,你这个是偷窃淘宝的数据。淘宝肯定要阻止你这么干。而淘宝想要阻止的事情,遇到你这样水平的他都防范不了,我觉得淘宝也太菜了。
如果你要想找到好办法,起码这个办法要有这么几个特征:
(1)利用某种连淘宝都不知道的漏洞。这样的漏洞肯定不可能在网上广泛传播,更不可能在一个技术论坛里面随随便便告诉你。
就算有这样的漏洞,只要你的产品公开兜售,那么淘宝肯定会知道,而且马上堵上。就算淘宝度不上,也可以起诉你,让你不能持续这么做。
(2)你拥有一个庞大的僵尸网络,用不同的ip和计算机访问,模拟正常用户访问,使得淘宝无法区分。但是这个成本足够高,以至于你会选择(3)
(3)和淘宝合作,给淘宝交钱,淘宝给你数据。
做ip代理 设置sleep时间