用Java聚焦爬虫抓取某网站上的所有文章,如何做到每当该网站有了新的文章,爬虫程序就能及时抓取下来?有没有具体的代码?
这个要分析抓取网站的链接了;如果有时间标志的话,很容易实现;比对就行了;如果没有的话,把抓取的存在数据库中(比如redis),然后再根据抓取的去比对;一般都是这样的