[code="java"]
List extendWords =new ArrayList();
extendWords.add("比特");
Dictionary.loadExtendStopWords(extendWords);
[/code]
我写了上面的代码,但是再执行分词后,没有把“比特”当作一个词来分。
请问是不是我哪里写错了?
看看这段代码,貌似可以啊
public static void main(String[] args) throws IOException, InvalidTokenOffsetsException {
List extendWords =new ArrayList();
extendWords.add("比特");
Dictionary.loadExtendStopWords(extendWords);
Analyzer analyzer = new IKAnalyzer();
TokenStream tokenStream = analyzer.tokenStream("",
new StringReader("丘比特"));
TermAttribute termAtt = (TermAttribute) tokenStream
.getAttribute(TermAttribute.class);
while (tokenStream.incrementToken()) {
System.out.print(termAtt.term());
System.out.print(' ');
}
}
不加载停词时,可以分词为“丘比特”和“比特”
加载停词“比特”后,只能分词为“丘比特”