java模拟浏览器发送请求爬取网页的标签

各位大神们:谁写过用java模拟浏览器,抓取网页标签,获取标签里的数据生成图片的?

用jsoup试试

要看下你的网页,是不是ajax方式动态加载的,httpconnection jsoup之类的,都是静态的,不会执行js去异步获取动态的内容。
你可以先抓包,然后直接发包请求这些内容。

选择器没写对吧 另外如果目标div或其中的内容是ajax生成的,jsoup是获取不到的,这时可以用htmlunit之类带JavaScript引擎的

用URL获取页面内容的输出流,然后用流构建document对象,遍历document对象,解析数据。
我没有做过爬虫,只是觉得让我自己做的话,我会这么弄

用 libcurl

参考:https://blog.csdn.net/hk627989388/article/details/52882001
https://github.com/pjlegato/curl-java
https://curl.haxx.se/libcurl/c/example.html