我想问下 现在 b站 爬取热度榜 可以爬嘛
User-agent: Yisouspider
Allow: /
User-agent: Applebot
Allow: /
User-agent: bingbot
Allow: /
User-agent: Sogou inst spider
Allow: /
User-agent: Sogou web spider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: Bytespider
Allow: /
User-agent: PetalBot
Allow: /
User-agent: *
Disallow: /
综合热门吗,可以的,找到它的抓包,应该是没有问题的
可以的,热榜数据很好爬的,抓包就好,不会抓的话用selenium爬就行
可以爬的,你这张图片是robot协议,没有什么影响