有没有文本查重软件，并支持用户自己建立自己的比较数据库

想对文本进行查重，比较相似度，比较库不用网上提供的库，用自己建立的文本数据库比较。哪位大神接触过类似的软件请告知，谢谢！
    查重软件可以建自己的数据库进行比较

像百度，谷歌之类
像vss，tfs之类