webmagic网页抓取重复

webmagic抓取网页时，可能出现多个线程对同一个网页进行抓取，得到的数据重复。如何解决？

对要访问的地址列表做线程同步，每次只允许一个线程读取一个，并且在列表里删除掉。