关于python 爬虫的报错

记得上几天这样写的时候还是可以的
代码哪里出问题了啊
还是因为网站反爬?

img

img

你的articles是list,所以articles['data']['items'],这样写是不对的,必须是数字或者切片啊,比如articles[0],然后下一层是字典或者表格啊,才跟上articles[0]['data']['items']

爬虫?
学学看
https://blog.csdn.net/hihell/category_11079529.html

articles['data']['items'], 这个是string类型的,不对吧,应该是整形的

试试下面的这种方法可以不,我用下面的代码可以获取数据


import requests

url = 'https://user.guancha.cn/main/search-v2'
params = {
    "page": "1",
    "type": "search_news",
    "order": 1,
    "keyword": "特朗普",
    "gczs": "149CDA21B7840023BE172F94E1A7D9A3"
}
headers = {"Referer": "https://www.guancha.cn/","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"}
response = requests.get(url,params=params,headers=headers)
articles = response.json()
if articles.get('msg') == '成功':
    data = articles.get('data').get('items')
    if data:
        for item in data:
            row = [ item['title'],item['url'] ]
            print(row)
不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^