浏览一个网站,发现他的爬虫协议中是这样写的:
User-agent: * Disallow: / Allow: /$
不太明白是什么含义,有知道的吗?
这个意思是允许访问/结尾的地址,它在disallow:/后面,所以整体的意思是不允许访问根地址,可以访问其它子一级的/结尾的地址有帮助的话,麻烦点个采纳