用request提取到的HTMLdiv标签未能展开,用findall方法,传入“div”“类名”做参数,也提取不到任何内容,求教!
URL是要爬的网址,classname是对应的类名称
import requests
import bs4
import re
url='https://www.XXXX.com'
response = requests.get(url).text
soup = bs4.BeautifulSoup(response,'html.parser')
for i in soup.findAll(name='div',attrs = {'class':'classname'})
print (i)
楼主我也想知道这该怎么办,多层div下的文字内容读取不出来
打开开发者工具,然后使用检查查找想要的内容在源码中的位置,可以使用xpath或者css直接定位