selenium爬虫爬取网页信息时出现用户登陆怎么解决?

img

img

img


代码如上,代码运行时,爬取前八项岗位时可正常爬取,但到第九页之后就会弹出用户登陆。

原本想一开始就手机密码登陆,但是需要滑动滑块验证码才能完成登陆😭😭就不会操作了

还有一个问题就是怎样才能爬取下一页及下下页……的信息啊

emmm,你可以先打开浏览器进行登录,再让selenium接管浏览器:https://blog.csdn.net/qq254271304/article/details/103493969
或者你再程序里设置暂停,然后你再暂停时间内手动去进行登录

账号密码登陆操作是一样的,无非就是定位输入框然后输入账号密码,点击登录,然后判断是否出现验证码,如果出现滑块验证码,就定位滑块模拟滑动就好。
过滑块验证码的代码网上一堆,随便改改应该都是可以用的:
https://zhuanlan.zhihu.com/p/146513081

可以设置先打开当前浏览器内容打开浏览器之后进行人工登录 根据登录之后判断一个xpath路径得条件,获取到之后判断是否登录成功再接着接下来步骤取数据

你可以参考下这篇文章:使用Selenium实现动态网页的信息爬取您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632