使用selenium在linux无界面搭建web爬虫

1.经百度查了之后说需要安装一个xvfb
可是这玩意启动报错图片说明
2.而且我找chrome驱动也找了很长时间,这玩意在中国的资料太少了
3.因为很多网页都是通过js效果来进行反扒,大牛们对我这个有什么建议,或者对linux比较了解的也可以帮我看看

selenium 应该很智能化的啊,毕竟都做了这么久了。

如果还是不行的话,我也比较建议用Python环境来做,BeautifulSoup,神箭手什么的,以及正则规则都非常的酷。

希望对你有用 :-)

直接用Python的爬虫不就得了,Linux貌似本身就安装了Python环境吧?

wget http://vault.centos.org/6.2/os/x86_64/Packages/xorg-x11-server-Xvfb-1.10.4-6.el6.x86_64.rpm这是xvfb下载的地址,试试这个