Jsoup.connect(url)得不到完整的页面Document?

Document doc = Jsoup.connect("https://www.amazon.com/s/ref=sr_pg_1?me=A3C1HRB8SDQRRA&rh=i%3Amerchant-items&ie=UTF8&qid=1472701780")
.data("jquery", "java")

.userAgent("Mozilla")

.cookie("auth", "token")

.timeout(50000)

.get();
System.out.println(doc);
我从这段代码得到的DOC与页面上的DOC不一样,只得到其中一部分,这是怎么回事?

http://www.cnblogs.com/zyw-205520/p/3421687.html

研究发现默认 JSoup 的限制是 1024*1024,也就是 1M 的大小。
因此我们需要在连接时设置一下 maxBodySize ,设置为 0 表示不限制大小

 Document = Jsoup.connect(url)
    .header("Accept-Encoding", "gzip, deflate")
    .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0")
    .maxBodySize(0)
    .timeout(600000)
    .get();