本人用java爬虫,想爬取视频网站中的播放量信息,思路是先爬取一次信息存入数据库,之后每天定时爬取,当发现当数据库中存在url链接相同的信息时,便按日期排序,把最近更新的那条信息中的播放量取出来,和当天爬取的播放量做差得到每天更新的播放量,之后把更新的数据存入数据库。但是现在发现处理网页用时和查询数据库用时不一致,会出现已经请求到电视剧1的信息时,从数据库中取出来的播放量是电视剧2,导致存入数据库的新增播放量出现负数的情况。代码里也加入了synchronized的同步处理,但还是会出现数据不对的问题,希望大神能帮忙解答!!!
查询的问题,你应该用日期和url联合查询,确定唯一的数据