爬取微博内容我会,爬取带有指定关键字的微博我会(通过搜索框),爬取微博的评论我也会。但是如果要爬取带有指定关键词(比如yyds,u1s1这些梗)的评论如何爬取呢?完全没有思路啊,难道要把所有微博评论爬下来筛选吗??这工作量也太大了吧
难道不获取内容就能判断是否带关键词吗,有关键词那个接口参数可以 没有参数就只能筛选。
import requests
from bs4 import BeautifulSoup
import re
url = f'https://xxxx'
res = requests.session().get(url)
soup = BeautifulSoup(res.text, 'html.parser')
rule = re.compile("yyds")
# span和short更换为评论的标签和属性
tests = soup.find_all('span', class_='short', text=rule)
print(tests)
仅供参考,有用请采纳。
你直接搜关键词,然后选出属于转发的博文,这种一般都是评论并转发。