selenium反反爬

背景:
用python和selenium实现自动抓取网页内容

问题:
每当selenium接管操作网页后, 网页就显示"网络不稳定"等前台页面报错, 感觉像触发了反爬机制. 一旦触发,就会导致页面上的选择日期, 翻页等元素在点击后就显示报错.

尝试的方法:
为了反反爬, 尝试了先接管chrome
popen("""chrome.exe --remote-debugging-port=54786 --user-data-dir="C:\selenum\AutomationProfile""")
然后添加以下设置, 来解决网友提到的"selenium打开浏览器时, webdriver属性会为True而被检测到"的问题;
chrome_options.add_argument("--headless")
chrome_options .add_argument("--disable-blink-features")

又试了下:
每当我用selenium 执行以下js来操控一下滚动条, 就会被触发. 但是我在网页控制台里手动输入这条js后, 是不会被触发的
var q=document.documentElement.scrollTop=600

你可以看看我的这篇文章
http://t.csdn.cn/oW7OH

参考一下

参考