怎么样通过PHP远程抓取网址的内容呀。我试了好几次都抓取不到,是不是做了防抓取功能呀;大家有什么办法吗?
这种问题,最简单的做法是用浏览器访问的同时用fiddler这个软件记录和服务器的通讯过程,发送哪些cookie和postdata,什么地址,还有什么附加的数据,然后写程序模拟。
还没搞定?。。。http://ask.csdn.net/questions/164343
测试过这个里面的php代码可以直接下载你要的数据啊
把http://images.taodake.com/taodake_img/JS/www-Tdkhead-2.0.js这个文件下载下来,用js格式化工具格式化一下,然后把里面的取Input的id改一改。把抓取放到客户端去做。这样也不太容易被封ip,因为都是客户端的ip。
因为他本来就是jsonp跨域的,所以用在你的页面上不会有什么问题。而且返回的是html代码,如果不需要特别定制的话,直接插入到你的页面显示就可以了。
使用curl获取试试,这里有个例子
// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);_
不知道你用python不,我有一个现成的python抓网页的例子,晚上可以发你。
你要时时抓取还是只抓取一次??每隔几秒抓取一次数据,太频繁抓取会被发现,拉黑的!
你要时时抓取还是只抓取一次??每隔几秒抓取一次数据,太频繁抓取会被发现,拉黑的!