如何使用python+selenium实现图中下拉框里面的滚动呢
使用这个js也没有起作用
document.querySelector("body > div:nth-child(15) > div.el-scrollbar > div.el-scrollbar__bar.is-vertical > div").scrollTop=1000
我们经常使用Python从网站上爬取我们喜欢的图片,比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目,但是至少把名字换成了随手拍,我今天想从该网站爬取妹子图,去发现没有办法 从爬取的代码中找到 ‘.jpg’ 关键词,这就尴尬了,我用审查元素看了一下,是有的,但是又看了一下网页的源代码,没有找到,实际上我们使用Python 的下面两句代码爬取到了就是网页的源代码,而不一定是审查元素的全部内容。
response = urllib.request.urlopen(url)
html = response.read()
这是为什么呢,以前没有出现这样的问题啊,以前我们发现审查元素和源代码是一样的啊。
其实,这是因为现在很多网站为了拒绝爬虫,居然对网页进行了加密,操蛋。
但是呢,我们也是有对策的,现在的网站基本上都是采用 js 加密,Python 也是有模块可以破解它的。
具体代码调用如下:
from selenium import webdriver
chrome = webdriver.Chrome()
chrome.get(url)
html = chrome.page_source
return html #返回的就是字符串
但是在用之前,还是有几个问题需要注意的:
首先,根据参考资料的段落6所述,我们需要导入Python的Selenium库来实现自动化操作。代码如下:
from selenium import webdriver
接下来,我们需要使用Selenium来实现下拉框内的滚动效果。首先,我们需要通过Selenium打开网页并定位到下拉框所在的元素。代码如下:
# 打开网页
driver = webdriver.Chrome()
driver.get("你的网页地址")
# 定位到下拉框所在的元素
select_element = driver.find_element_by_xpath("下拉框的xpath")
然后,我们可以使用Selenium的execute_script
方法来执行JavaScript代码,实现下拉框的滚动效果。代码如下:
# 执行JavaScript代码,滚动下拉框
driver.execute_script("arguments[0].scrollIntoView(true);", select_element)
以上代码中,scrollIntoView(true)
方法用于将页面滚动到指定元素的可视区域。
最后,我们可以通过Selenium的其他方法,如click()
来实现点击下拉框中的选项,以达到选择的目的。
注意:以上代码中的"你的网页地址"和"下拉框的xpath"需要根据实际情况进行替换。
希望以上解决方案能够帮到您,如果还有其他问题,欢迎继续提问。