虚拟机的sparkshell怎么删除json文件里重复的数据?

以下是json里的内容:
{"木材名称": "中油远丰木材样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰(大连)石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰木材样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰(大连)石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰原木样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰(大连)石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰原木样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰(大连)石油有限公司", "时间": "2017-09-06"}

把数据转换成str类型,直接判断相等就可以了