Python爬虫获取失败

有没有朋友帮忙看看，刚学的很简单的Python爬虫代码，就是想要获取一个网站的公开信息做可视化作品，但为什么这个请求方法是post，而且点开之后如p2，根本查看不了。但是预览里面可以看的完整的信息，是因为反爬虫还是什么，求看一眼！！万分感谢

img

img

因为是post请求，你直接点击进入这个请求没有带那些参数，所以会出现上述那种情况，不是反爬造成的。

【以下回答由 GPT 生成】

问题原因很有可能是网站采取了反爬虫措施，其中一种常见的反爬虫手段就是使用POST请求获取数据。在预览中可以看到完整的信息，是因为网站在响应中返回了数据，但是在浏览器中无法直接查看。

为了解决这个问题，我们可以尝试使用一些方法绕过反爬虫措施获取数据。以下是一些可能的解决方案和代码示例：

  1. 使用模拟登录：有些网站需要登录才能获取数据，可以使用库如requests和BeautifulSoup来模拟登录。如果网站需要Cookie登录，可以通过添加Cookie到请求头的方式。
import requests
from bs4 import BeautifulSoup

# 构造登录请求的数据
data = {
    'username': 'your_username',
    'password': 'your_password'
}

# 发送登录请求
response = requests.post('https://example.com/login', data=data)
# 获取登录后的Cookie
cookies = response.cookies

# 发送带有Cookie的请求并获取数据
data_response = requests.post('https://example.com/data', cookies=cookies)
# 解析响应数据
soup = BeautifulSoup(data_response.text, 'html.parser')
# 提取数据
data = soup.find('div', {'class': 'data'}).text
  1. 伪装请求头：有些网站会根据请求头的信息进行反爬虫处理，我们可以修改请求头来伪装成浏览器访问。
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',
    'Referer': 'https://example.com/',
    # 添加其他请求头信息
}

response = requests.post('https://example.com/data', headers=headers)
data = response.text
  1. 使用代理IP：有些网站会限制同一个IP的请求频率，我们可以使用代理IP来访问网站。可以使用库如requests和fake_useragent来实现。
import requests
from fake_useragent import UserAgent

# 随机生成一个User-Agent
ua = UserAgent()
headers = {
    'User-Agent': ua.random
}

# 设置代理IP（替换为有效的代理IP地址和端口）
proxies = {
    'http': 'http://101.132.122.230:3128',
    'https': 'https://101.132.122.230:3128'
}

response = requests.post('https://example.com/data', headers=headers, proxies=proxies)
data = response.text

请注意，这些方法并不是绝对有效的，因为每个网站的反爬虫策略不同。需要根据具体情况修改代码和策略来绕过反爬虫措施。另外，请确保你的爬虫行为符合法律法规和网站的使用规定，避免对网站造成不必要的影响。



【相关推荐】



如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^