pycharm-爬虫

python爬虫爬取数据只能爬取前25条，全部100条该怎么才能爬下来（非多页式）

第26条往后数据多了两段代码

• 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7567562
• 这篇博客也不错, 你可以看下pycharm遇到的一些问题的解决方案
• 您还可以看一下 郭宏志老师的玩转Pycharm课程中的 配置Pycharm小节, 巩固相关知识点
  

把你代码发出来啊
1）找到url规律，循环发起请求即可
2）url规律找不到，使用selenium也可实现

该回答引用GPTᴼᴾᴱᴺᴬᴵ
要爬取多于25条的数据，您可能需要使用一些额外的技术和方法，以下是一些可能的解决方法：

1. 使用Selenium模拟浏览器行为： 如果您的数据在网页上以分页的形式呈现，那么您可以使用Selenium模拟浏览器行为，通过自动化点击下一页来爬取所有数据。您可以使用Selenium和PyCharm中的webdriver来实现这一点。

2. 分析API： 如果您的数据来自API，那么您可以分析API并了解如何获取更多的数据。通常，API会限制返回的结果数量，但是它们可能会提供一些参数，例如页码或偏移量，允许您指定要返回的结果的数量。

3. 使用代理： 有时，网站会限制来自同一IP地址的请求数量。如果您受到此类限制，您可以使用代理来轮流更改IP地址。

4. 使用多个爬虫： 如果您无法通过单个爬虫程序获取所有数据，您可以使用多个爬虫程序，每个程序负责爬取一部分数据。

请注意，您应该遵守网站的条款和条件，并使用合适的爬取速度和频率，以避免被封禁或其他限制。

引用楼上回答