python爬虫问题

在爬某店铺地址前十页时,第九页还能正常出内容,第十页开始就是出的单个数据,而且这个数据还是第一页的内容,为什么呀?

Robots协议也称作爬虫协议,用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取,有些电商网站,你爬取一定数量,就认定你为恶意爬取了,不再让你爬出正常内容,相当于一种限制


可以查看手册:python- 接下来? 中的内容