用python爬取网页信息
在F12查看源代码中的代码,在python解析网页的时候没有,这属于反爬吗?有什么方法可以解决
题主要的代码如下
import requests
import json
url="https://www.qcc.com/api/bigsearch/bytagList?pageIndex=1&pageSize=5&roundDesc=&searchKey=%E6%8B%BC%E5%A4%9A%E5%A4%9A"
#下面3个头不能少,cookie和自定义的请求头764826f3fbf3fdcfbd14关联
headers={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
'cookie':'acw_tc=3ad8379516429868957524722ef7b22873794fd19a75e64637c8f3ea85;',
'764826f3fbf3fdcfbd14':'5ddbd29438181f111f65aa2f5fc41d0af5443051d921401595b36a08394177a0fc9a21af0f4b22976d96cff8fabd55d968ee1760059000ecb6f12984fab9678c'
}
data=requests.get(url,headers=headers).json()
for item in data['Result']:
print(item['Name'])
print(item['Intro'])
print(item['CompanyName'])
print('\n\n\n\n')
有些网站的数据会和网页框架一起发送给客户端,有的数据会以数据包的形式发送给客服端(和框架是分开发送的),这个我觉得不能说是反爬吧,就是这个网站的需求是这样的
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!