最近刚学习完爬虫的基础知识,和一点点js逆向,想自己着手做一个网页监控,但是不清楚实现监控功能的代码思路是怎样,目前我能想到的就是定时(比如10s进行一次)请求,看看返回结果有无更新内容,想寻求一下更好的实现思路,谢谢
寻找网站时常更新的内容节点,比如商品栏所在的produces节点对应的文本内容从“青菜”变成“茄子”。保存上一次请求获得更新的文本内容作为下次内容更新的依据,或者查看是否有关于更新时间的节点,定时请求检查这些节点的内容。对于动态加载的Ajax内容,在关闭请求后关闭浏览器没多大问题,但是对于请求后不关闭浏览器不刷新是不清楚网页是否更新的。