爬虫运行成功但是没有结果

这个代码运行成功但是没有输出结果

import requests
from bs4 import BeautifulSoup

url = "https://fx.wanfangdata.com.cn/scholartrends/detail?scholar_name=%E5%91%A8%E4%BA%91&org_name=%E8%8B%8F%E5%B7%9E%E5%A4%A7%E5%AD%A6%E9%99%84%E5%B1%9E%E5%84%BF%E7%AB%A5%E5%8C%BB%E9%99%A2&scholar_id=a0040857820"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36"
}
pages_to_crawl = 5

for page in range(pages_to_crawl):
    params = {
        "page": page + 1
    }
    response = requests.get(url, headers=headers, params=params)
    soup = BeautifulSoup(response.text, "html.parser")
    article_list = soup.find_all("div", class_="scholar-list-item")
    for article in article_list:
        title_elem = article.find("h4", class_="title")
        title = title_elem.text.strip()
        link = title_elem.a.get("href")
        summary_elem = article.find("div", class_="abstract")
        if summary_elem is not None:
            summary = summary_elem.text.strip()
        else:
            summary = ""
        print(f"Title: {title}\nLink: {link}\nSummary: {summary}\n")

我把你代码运行了一下，抓到的是一些html，里面全是js，没有正文的，你想抓这个站的内容，需要监测xhr信息

该回答引用GPTᴼᴾᴱᴺᴬᴵ
这个代码似乎没有问题，但是可能由于请求到的网页没有符合条件的数据，所以没有结果输出。你可以尝试更改pages_to_crawl变量的值来爬取更多的页面，或者手动访问https://fx.wanfangdata.com.cn/scholartrends/detail?scholar_name=%E5%91%A8%E4%BA%91&org_name=%E8%8B%8F%E5%B7%9E%E5%A4%A7%E5%AD%A6%E9%99%84%E5%B1%9E%E5%84%BF%E7%AB%A5%E5%8C%BB%E9%99%A2&scholar_id=a0040857820%EF%BC%8C%E6%9F%A5%E7%9C%8B%E6%98%AF%E5%90%A6%E6%9C%89%E7%AC%A6%E5%90%88%E6%9D%A1%E4%BB%B6%E7%9A%84%E6%95%B0%E6%8D%AE%E3%80%82%E5%A6%82%E6%9E%9C%E8%BF%98%E6%98%AF%E6%B2%A1%E6%9C%89%E7%BB%93%E6%9E%9C%E8%BE%93%E5%87%BA%EF%BC%8C%E5%8F%AF%E8%83%BD%E9%9C%80%E8%A6%81%E6%A3%80%E6%9F%A5%E6%98%AF%E5%90%A6%E6%9C%89%E5%85%B6%E4%BB%96%E9%97%AE%E9%A2%98%EF%BC%8C%E4%BE%8B%E5%A6%82%E7%BD%91%E7%BB%9C%E8%BF%9E%E6%8E%A5%E6%98%AF%E5%90%A6%E6%AD%A3%E5%B8%B8%E3%80%82

元素定位可能也有问题。

你的请求数据的地址或参数有问题，获取到的数据中没有你要解析的那些元素，所以没有结果输出。建议，重新定位请求