网上找了找,中文分词的工具挺多的,关于英文分词的没找到。
现在需要一个能将英文中的短语分出来的分词工具,不是按空格划分的那种。要把英文中的短语,词组能切分出来。
有没有哪位大侠有类似需求,能不能指点一二,多谢!
挺BT的需求,针对英文短语,词组切分.
我觉得可以按照中文切词的思路来解决, 将英文短语看成中文中的词,应该是没有问题的,
可以自己写吧. 参照一些 中文分词的.
没有轮子,只能自己造!
听起来不是分词,而是短语:
https://nlp.stanford.edu/nlp/javadoc/javanlp-3.5.2/edu/stanford/nlp/trees/CollocationFinder.html
http://www.nltk.org/howto/collocations.html
你好,请问楼主现在解决这个问题了吗?我现在也被这个问题困扰,并且还需要统计词组的频率,麻烦您看到回复我一下吧