在linux下，现在有一个拥有大量ip地址的txt文本文档，但是里面有很多重复的，如何快速去重？

问题遇到的现象和发生背景

用代码块功能插入代码，请勿粘贴截图

我想要达到的结果

在linux下，现在有一个拥有大量ip地址的txt文本文档，但是里面有很多重复的，如何快速去重？

with open('xxx.txt', 'r') as f:
    data = f.readlines()
ret = []
for ip in data:
    if ip not in ret:
        ret.append(ip)
print('\n'.join(ret))

sort -u 文件名 > 新文件名

或者

cat 文件名 | sort -u > 新文件名