贴吧的数据爬下来一共 3w多，去重后只剩8k+，这是正常的吗？

贴吧的数据一共30k+爬下来了，但是去重后只有8k左右，请问各位这是正常的吗

正常的，wps已告诉你答案了

可以使用python的表格处理模块（建议使用：xlrd模块）再检查一遍原来的30k+的数据，而后再进行去重处理，两个数据进行对比，可以使采集的数据去重后更加的精准