在爬取腾讯招聘网时
手动打开页面代码可以看到
但是爬取出来的html文档并没有那个大的方框
且
<body>部分只有<div id=app></div>
这是为什么
你查看网页源代码后也是这样显示没有css吗?
说明那些是在请求之后渲染的,你只是获取了静态的页面数据。
开发者界面Elements里看到有,但右键查看源代码里没有,这种是动态加载的。直接爬取是抓不到的。
用无头浏览器配合抓取。常用方法 http://www.gaohaiyan.com/2709.html#2.Chrome+Selenium http://www.gaohaiyan.com/2709.html#2.Chrome+Selenium