Document doc = Jsoup.connect("https://www.amazon.com/s/ref=sr_pg_1?me=A3C1HRB8SDQRRA&rh=i%3Amerchant-items&ie=UTF8&qid=1472701780")
.data("jquery", "java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(50000)
.get();
System.out.println(doc);
我从这段代码得到的DOC与页面上的DOC不一样,只得到其中一部分,这是怎么回事?
http://www.cnblogs.com/zyw-205520/p/3421687.html
研究发现默认 JSoup 的限制是 1024*1024,也就是 1M 的大小。
因此我们需要在连接时设置一下 maxBodySize ,设置为 0 表示不限制大小
Document = Jsoup.connect(url)
.header("Accept-Encoding", "gzip, deflate")
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0")
.maxBodySize(0)
.timeout(600000)
.get();