做这个java小程序1：
（1）有1000多个文件，十六亿行，每行一个字符串
（2）字符串字典排序，重复的行要去掉
（3）输出一个排序好的大文件
https://code.csdn.net/snippets/1617137
这是简单排序的，程序段
可以搜一下外部排序算法，因为数据量太大所以不适合用内部排序算法了。
A.先对每个文件排序，B.然后分别二路归并并去重
A.考虑到某些文件可能会大到内存放不下，所以需要递归拆分（可以按照hashcode作为拆分条件），直到能放入内存；
B.对两个排好序的文件合并稍带着去重，算法比较简单