最近在开发一个爬虫，抓取新浪网页，直接通过下载新浪首页的源码，然后字符串解析源码里面的所有url，再递归式的抓取一定深度后停止。
但是，现在网页基本都是动态网页，有些url可能是加载后才能生成的，所以目前的方法导致抓取的网页里面有些东西下载不全。
目前的想法是，linux下有没有什么框架可以模拟浏览器，获得加载后的网页内容，再提取里面的url，或者截获加载过程中浏览器发出的http请求的url，这样应该可以确保抓取网页的完整性。另外，目前是linux下c++开发的，最好不用换平台和语言，多谢各位了！
用phantomjs
http://phantomjs.org/download.html
可以用linux下的curl软件包