Python爬虫爬到的页面内容与看到的不一致

利用python+BeautifulSoup写了一个爬虫,用来抓http://www.cbooo.cn/paipian 上的数据,可是爬虫返回的页面代码与浏览器中看到的不一致,并没有表格标签。

有些页面是ajax异步返回的,所以直接请求不到内容,需要用selenium等webdriver

js动态生成的内容无法获取到。。爬虫得到的内容和你右键浏览器查看源代码得到的一模一样

先用fiddler等抓包,然后再照着写。对于ajax请求,需要单独获取其中的数据。

要爬取异步生成的数据,推荐你看一下这个教程,讲地很细致:http://blog.csdn.net/youmumzcs/article/details/51384741