爬虫小白虫一个,想实际操作下爬取京东评论,只是想先试着返回评论数据,但返回的是空白,也没有报错,ur1的网址可以打开,且不是空白,代码如下
import requests
#第二 发送请求
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=70985615599&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
resp=requests.get(url)
print(resp.text)
结果如下
由于小小白一个,实在不知道是京东反爬问题还是python代码问题,或者电脑问题,求大神指点
在header参数中添加referer默认值,应该是直接访问触发反爬了
评论地址是需要带请求头参数才能获取的,没有评论原地址,没办法猜出用了什么payload条件,
import pandas as pd
import numpy as np
from selenium import webdriver
driver = webdriver.Chrome()
# 爬取的网址
url = '爬取的网址'
driver.get(urli)
driver.implicitly_wait(10)
试试用selenium工具包模拟浏览器访问呢 ,
如果能打开页面,说明能有信息, 就可下一步操作呢