用requests库爬取网页内容,运行以后一直卡在requests函数这,没有显示内容。
代码没有问题,好像是电脑的问题,不知道是不是杀毒软件还是windows自带安全中心的问题,爬取不到网页内容。
请问怎么解决?
import requests
def getHTML(url):
try:
print("*")
r = requests.get(url)
print("*")
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return r.status_code
if __name__ == "__main__":
url = "https://quote.stockstar.com/Comment/"
s = getHTML(url)
print(s[:100])
爬取网页内容要看你在requests的get中参数有没有传全,比如 headers,cookies等,通过F12查看请求参数。对于动态加载数据的页面,要使用selenium等其他库。
至少看看你的代码还是什么吧,这卡在是什么意思
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!把杀毒软件,安全中心,防火墙之类的安全软件都关了试试