今天做个采集页面的程序,发现在本地采集的时候正常,当放到服务器的时候就出现了一下内容,请问一下这是什么情况?
服务器打开连接失败,请在服务器上ping 下 这个域名是否网站能够正常访问。或者curl 请求下改地址,能否获取到内容。
采集程序最好用curl 命令模式下载到本地,然后本地程序进行分析内容得到数据
400 Bad Request,还是你的php函数请求的时候,URL等参数是否都正确了。打印一下跟浏览器中访问的,看一下有什么地方不一样。
估计是线程拥堵了,端口被占
如果是采集程序,你要考虑的是对方可能封掉了你的ip,也有可能对方做了限制file_get_content函数获取页面内容措施!curl snoopy都可以抓取数据,实在不行还可以研究下python方式抓取
打印出你的拼接的URL, 用浏览器打开,测试是否可以进入你想要的页面。
如果可以,试下用curl,注意使用模拟浏览器、SSL、COOKIE这些功能,我就试过用file_get_contens失败而curl成功的情况。
如果还不行,很可能对方阻止了抓取行为,那就需要更高级的方法了,偶也不懂了~~~~~~