请教下面纠结的问题：
我用httpclient，post提交参数，抓取指定检索到的的数据(分多个页面，一个页面一次提交请求)，大部分抓取的数据都是全的，大概抓取了100左右页面数据，就开始有一页面的数据不全，断断续续，不全的数据是：没有我指定参数提交的检索到的数据(只有静态页面的数据，即：没有业务数据)，但是请求返回来的状态是200，也获取不到异常，纠结了好几天;代码：
public String clientPost(String urll, String htmlbody) {
String[] repParams = htmlbody.split("&");
List data = new ArrayList();
HttpPost post = new HttpPost(urll);
for (String param : repParams) {
data.add(new BasicNameValuePair(param.substring(0,
param.indexOf("=")), param.substring(
param.indexOf("=") + 1, param.length())));
}
try {
// 参数
post.setEntity(new UrlEncodedFormEntity(data, "utf-8"));
// execute post
HttpResponse response = httpClient.execute(post);
if (response.getStatusLine().getStatusCode() == 200) {
a++;
System.out.println("第：" + a + "次请求成功");
HttpEntity entity = response.getEntity();
BufferedReader read = new BufferedReader(new InputStreamReader(
entity.getContent(), "utf-8"));
String currentLine;
System.out.println("entity.getContent:"
+ entity.getContent().toString().length());
StringBuffer buff = new StringBuffer();
while ((currentLine = read.readLine()) != null) {
buff.append(currentLine);
}
System.out.println("buff长度：" + buff.length());
if (buff.length() < 60000) { //数据不全判断
int i = 1;
clientPost(urll, htmlbody);
System.out.println("第" + (a - i) + "页请求了" + (++i) + "次");
} else {
String urlContent = post.getURI().getRawPath()
+ "\r\n"
+ post.getRequestLine().toString()
+ "\r\n"
+ displayInfo(new UrlEncodedFormEntity(data,
"utf-8").getContent());
logContent(urlContent, buff.toString(), a + ".html");
System.out.println("buff:--------------"
+ buff.toString().length());
return buff.toString();
}
}
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
logNetErr(e);
} catch (ClientProtocolException e) {
e.printStackTrace();
logNetErr(e);
} catch (IOException e) {
e.printStackTrace();
logNetErr(e);
} finally {
post.releaseConnection();
httpClient.getConnectionManager().closeExpiredConnections();
}
return null;
}
还请各位碰到这样的问题指教下：
源数据问题，你不一定能捕获到，如果你请求的页面dao报了异常，返回的数据为null，前端页面只是没有数据而已，你完全觉察不到
问题很好解决，如果内容有问题的打log
你把代码全贴上来看看
你要抓取的页面是否有ajax的异步数据，页面如果包含这些延迟加载的数据，是不能通过一次抓取得到全部数据的。
有可能是源数据的问题，应该先确定抓取源的问题
判断一定是抓取的页面有ajax请求，当你抓取的时候 ajax还没返回，所以就没抓全
哥们，你用httpclient是模拟浏览器访问网页/登录等，这种东西感觉你最好先搞个抓包工具先看访问网页post，get的东西，就能找到你先要的东西了。
服务端没有返回数据的长度？
1、到了第100页，他的库里存的数据有问题（比如库里存了带html标签的内容，导致页面标签不闭合），页面没有数据，但是你请求返回的肯定是200，只有一些静态内容。可以用日志打印一下url，手动去请求一下试试
2、如果是服务器压力导致的异常问题，你sleep10秒钟再抓一次试试
既然前100页没有问题，说明代码基本是ok的，数据源的问题可能比较大，这样，你把没有抓到数据的请求打印出来，然后用这些参数去确认一下，看是否能拉到数据，我怀疑是拉不到的。试试吧
问题补充：
fslx2008 写道
你要抓取的页面是否有ajax的异步数据，页面如果包含这些延迟加载的数据，是不能通过一次抓取得到全部数据的。
这个不对的，异步加载的话，还是会再一次请求的。
没看懂你说的意思，我说的不知道你看懂没有，页面中包含通过ajax延迟加载的数据的话，只抓取一次是不能将整个页面的内容取到的，而且从你的问题和代码中也没有关于再一次请求的实现
不知道你能否把你要抓取的页面发来，让大家一起分析下呢，你的实现代码就不用了。
我认为是网站禁止你抓取的表现。