多线程爬虫，判断url是否已经访问过，是否需要加锁？比如将爬过的网址放入visited，判断未爬的url是否存在于visited，使用语句if url in visited: 访问visited需要加锁吗？
我觉得可以给这个visited 用原子数组包装下，但这只保证了原子性，还需要加个volatile 保证可见性。