采集到一批关键词,但是里面有很多类似重复的关键词,需要进行提取,请问需要怎么操作才可以。数据大概有50w多,
首先需要对它分词,有很多分词的库可以实现。分词以后,将所有的词语添加到hashtable里,然后遍历你的excel行,累计每个词语在每个条目里出现的次数,得到频率最后排序输出。