爬取小说的时候
url = 'http://www.youxinyuedu.com/main_book.html?webid=6eeda3ca427b4e80efd09c0cbd1e3188%27
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
response = requests.get(url,headers=headers).content.decode('utf-8',errors='ignore')
soup = BeautifulSoup(response,"html.parser")#文件解析
chapters = soup.find("div",class_="line").text#筛选目标
print(chapters)
结果：
第1节
第2节
第3节
第4节
第5节
为啥取不到里面超链接呢？
我看了一下对应的小说网站，你用soup.find("div",class_="line").text获取的确实是第几章的文本，你要获取链接的话，是要获取href的值。
chapters_link = soup.find("div",class_="line").get('href')