我要从一个较大(上G)的文件中读取数据，要保证不能重复，也就是删除相同的行，读取一行再和前面的一行行对比效率太低了，有没有更好的方法？求大牛
把每行添加到map中，因为map不允许key重复，每行内容作为key，最后把map中的内容写回去