【NLP】11大Java开源中文分词器的使用方法和分词效果对比

本文的目标有两个：

1、学会使用11大Java开源中文分词器

2、对比分析11大Java开源中文分词器的分词效果

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：

Java代码

/***获取文本的所有分词结果,对比不同分词器结果*@author杨尚川*/publicinterfaceWordSegmenter{/***获取文本的所有分词结果*@paramtext文本*@return所有的分词结果，去除重复*/defaultpublicSet<String>seg(Stringtext){returnsegMore(text).values().stream().collect(Collectors.toSet());}/***获取文本的所有分词结果*@paramtext文本*@return所有的分词结果，KEY为分词器模式，VALUE为分词器结果*/publicMap<String,String>segMore(Stringtext);}

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这11大分词器来实现这个接口：

1、word分词器

Java代码

@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();for(SegmentationAlgorithmsegmentationAlgorithm:SegmentationAlgorithm.values()){map.put(segmentationAlgorithm.getDes(),seg(text,segmentationAlgorithm));}returnmap;}privatestaticStringseg(Stringtext,SegmentationAlgorithmsegmentationAlgorithm){StringBuilderresult=newStringBuilder();for(Wordword:WordSegmenter.segWithStopWords(text,segmentationAlgorithm)){result.append(word.getText()).append("");}returnresult.toString();}

2、Ansj分词器

Java代码

@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();StringBuilderresult=newStringBuilder();for(Termterm:BaseAnalysis.parse(text)){result.append(term.getName()).append("");}map.put("BaseAnalysis",result.toString());result.setLength(0);for(Termterm:ToAnalysis.parse(text)){result.append(term.getName()).append("");}map.put("ToAnalysis",result.toString());result.setLength(0);for(Termterm:NlpAnalysis.parse(text)){result.append(term.getName()).append("");}map.put("NlpAnalysis",result.toString());result.setLength(0);for(Termterm:IndexAnalysis.parse(text)){result.append(term.getName()).append("");}map.put("IndexAnalysis",result.toString());returnmap;}

3、Stanford分词器

Java代码

privatestaticfinalStanfordCoreNLPCTB=newStanfordCoreNLP("StanfordCoreNLP-chinese-ctb");privatestaticfinalStanfordCoreNLPPKU=newStanfordCoreNLP("StanfordCoreNLP-chinese-pku");privatestaticfinalPrintStreamNULL_PRINT_STREAM=newPrintStream(newNullOutputStream(),false);​publicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("StanfordBeijingUniversitysegmentation",seg(PKU,text));map.put("StanfordChineseTreebanksegmentation",seg(CTB,text));returnmap;}privatestaticStringseg(StanfordCoreNLPstanfordCoreNLP,Stringtext){PrintStreamerr=System.err;System.setErr(NULL_PRINT_STREAM);Annotationdocument=newAnnotation(text);stanfordCoreNLP.annotate(document);List<CoreMap>sentences=document.get(CoreAnnotations.SentencesAnnotation.class);StringBuilderresult=newStringBuilder();for(CoreMapsentence:sentences){for(CoreLabeltoken:sentence.get(CoreAnnotations.TokensAnnotation.class)){Stringword=token.get(CoreAnnotations.TextAnnotation.class);;result.append(word).append("");}}System.setErr(err);returnresult.toString();}

4、FudanNLP分词器

Java代码

privatestaticCWSTaggertagger=null;static{try{tagger=newCWSTagger("lib/fudannlp_seg.m");tagger.setEnFilter(true);}catch(Exceptione){e.printStackTrace();}}@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("FudanNLP",tagger.tag(text));returnmap;}

5、Jieba分词器

Java代码

privatestaticfinalJiebaSegmenterJIEBA_SEGMENTER=newJiebaSegmenter();@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("INDEX",seg(text,SegMode.INDEX));map.put("SEARCH",seg(text,SegMode.SEARCH));returnmap;}privatestaticStringseg(Stringtext,SegModesegMode){StringBuilderresult=newStringBuilder();for(SegTokentoken:JIEBA_SEGMENTER.process(text,segMode)){result.append(token.word.getToken()).append("");}returnresult.toString();}

6、Jcseg分词器

Java代码

privatestaticfinalJcsegTaskConfigCONFIG=newJcsegTaskConfig();privatestaticfinalADictionaryDIC=DictionaryFactory.createDefaultDictionary(CONFIG);static{CONFIG.setLoadCJKSyn(false);CONFIG.setLoadCJKPinyin(false);}@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("复杂模式",segText(text,PLEX_MODE));map.put("简易模式",segText(text,JcsegTaskConfig.SIMPLE_MODE));returnmap;}privateStringsegText(Stringtext,intsegMode){StringBuilderresult=newStringBuilder();try{ISegmentseg=SegmentFactory.createJcseg(segMode,newObject[]{newStringReader(text),CONFIG,DIC});IWordword=null;while((word=seg.next())!=null){result.append(word.getValue()).append("");}}catch(Exceptionex){thrownewRuntimeException(ex);}returnresult.toString();}

7、MMSeg4j分词器

Java代码

privatestaticfinalDictionaryDIC=Dictionary.getInstance();privatestaticfinalSimpleSegSIMPLE_SEG=newSimpleSeg(DIC);privatestaticfinalComplexSegCOMPLEX_SEG=newComplexSeg(DIC);privatestaticfinalMaxWordSegMAX_WORD_SEG=newMaxWordSeg(DIC);@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put(SIMPLE_SEG.getClass().getSimpleName(),segText(text,SIMPLE_SEG));map.put(COMPLEX_SEG.getClass().getSimpleName(),segText(text,COMPLEX_SEG));map.put(MAX_WORD_SEG.getClass().getSimpleName(),segText(text,MAX_WORD_SEG));returnmap;}privateStringsegText(Stringtext,Segseg){StringBuilderresult=newStringBuilder();MMSegmmSeg=newMMSeg(newStringReader(text),seg);try{Wordword=null;while((word=mmSeg.next())!=null){result.append(word.getString()).append("");}}catch(IOExceptionex){thrownewRuntimeException(ex);}returnresult.toString();}

8、IKAnalyzer分词器

Java代码

@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("智能切分",segText(text,true));map.put("细粒度切分",segText(text,false));returnmap;}privateStringsegText(Stringtext,booleanuseSmart){StringBuilderresult=newStringBuilder();IKSegmenterik=newIKSegmenter(newStringReader(text),useSmart);try{Lexemeword=null;while((word=ik.next())!=null){result.append(word.getLexemeText()).append("");}}catch(IOExceptionex){thrownewRuntimeException(ex);}returnresult.toString();}

9、Paoding分词器

Java代码

privatestaticfinalPaodingAnalyzerANALYZER=newPaodingAnalyzer();@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("MOST_WORDS_MODE",seg(text,PaodingAnalyzer.MOST_WORDS_MODE));map.put("MAX_WORD_LENGTH_MODE",seg(text,PaodingAnalyzer.MAX_WORD_LENGTH_MODE));returnmap;}privatestaticStringseg(Stringtext,intmode){ANALYZER.setMode(mode);StringBuilderresult=newStringBuilder();try{TokenreusableToken=newToken();TokenStreamstream=ANALYZER.tokenStream("",newStringReader(text));Tokentoken=null;while((token=stream.next(reusableToken))!=null){result.append(token.term()).append("");}}catch(Exceptionex){thrownewRuntimeException(ex);}returnresult.toString();}

10、smartcn分词器

Java代码

​privatestaticfinalSmartChineseAnalyzerSMART_CHINESE_ANALYZER=newSmartChineseAnalyzer();​@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("smartcn",segText(text));returnmap;}privatestaticStringsegText(Stringtext){StringBuilderresult=newStringBuilder();try{TokenStreamtokenStream=SMART_CHINESE_ANALYZER.tokenStream("text",newStringReader(text));tokenStream.reset();while(tokenStream.incrementToken()){CharTermAttributecharTermAttribute=tokenStream.getAttribute(CharTermAttribute.class);result.append(charTermAttribute.toString()).append("");}tokenStream.close();}catch(Exceptione){e.printStackTrace();}returnresult.toString();}

11、HanLP分词器

Java代码

privatestaticfinalSegmentN_SHORT_SEGMENT=newNShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);privatestaticfinalSegmentDIJKSTRA_SEGMENT=newDijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);@OverridepublicMap<String,String>segMore(Stringtext){Map<String,String>map=newHashMap<>();map.put("标准分词",standard(text));map.put("NLP分词",nlp(text));map.put("索引分词",index(text));map.put("N-最短路径分词",nShort(text));map.put("最短路径分词",shortest(text));map.put("极速词典分词",speed(text));returnmap;}privatestaticStringstandard(Stringtext){StringBuilderresult=newStringBuilder();StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}privatestaticStringnlp(Stringtext){StringBuilderresult=newStringBuilder();NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}privatestaticStringindex(Stringtext){StringBuilderresult=newStringBuilder();IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}privatestaticStringspeed(Stringtext){StringBuilderresult=newStringBuilder();SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}privatestaticStringnShort(Stringtext){StringBuilderresult=newStringBuilder();N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}privatestaticStringshortest(Stringtext){StringBuilderresult=newStringBuilder();DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(""));returnresult.toString();}

现在我们已经实现了本文的第一个目的：学会使用11大Java开源中文分词器。

最后我们来实现本文的第二个目的：对比分析11大Java开源中文分词器的分词效果，程序如下：

Java代码

publicstaticMap<String,Set<String>>contrast(Stringtext){Map<String,Set<String>>map=newLinkedHashMap<>();map.put("word分词器",newWordEvaluation().seg(text));map.put("Stanford分词器",newStanfordEvaluation().seg(text));map.put("Ansj分词器",newAnsjEvaluation().seg(text));map.put("HanLP分词器",newHanLPEvaluation().seg(text));map.put("FudanNLP分词器",newFudanNLPEvaluation().seg(text));map.put("Jieba分词器",newJiebaEvaluation().seg(text));map.put("Jcseg分词器",newJcsegEvaluation().seg(text));map.put("MMSeg4j分词器",newMMSeg4jEvaluation().seg(text));map.put("IKAnalyzer分词器",newIKAnalyzerEvaluation().seg(text));map.put("smartcn分词器",newSmartCNEvaluation().seg(text));returnmap;}publicstaticMap<String,Map<String,String>>contrastMore(Stringtext){Map<String,Map<String,String>>map=newLinkedHashMap<>();map.put("word分词器",newWordEvaluation().segMore(text));map.put("Stanford分词器",newStanfordEvaluation().segMore(text));map.put("Ansj分词器",newAnsjEvaluation().segMore(text));map.put("HanLP分词器",newHanLPEvaluation().segMore(text));map.put("FudanNLP分词器",newFudanNLPEvaluation().segMore(text));map.put("Jieba分词器",newJiebaEvaluation().segMore(text));map.put("Jcseg分词器",newJcsegEvaluation().segMore(text));map.put("MMSeg4j分词器",newMMSeg4jEvaluation().segMore(text));map.put("IKAnalyzer分词器",newIKAnalyzerEvaluation().segMore(text));map.put("smartcn分词器",newSmartCNEvaluation().segMore(text));returnmap;}publicstaticvoidshow(Map<String,Set<String>>map){map.keySet().forEach(k->{System.out.println(k+"的分词结果：");AtomicIntegeri=newAtomicInteger();map.get(k).forEach(v->{System.out.println("\t"+i.incrementAndGet()+"、"+v);});});}publicstaticvoidshowMore(Map<String,Map<String,String>>map){map.keySet().forEach(k->{System.out.println(k+"的分词结果：");AtomicIntegeri=newAtomicInteger();map.get(k).keySet().forEach(a->{System.out.println("\t"+i.incrementAndGet()+"、【"+a+"】\t"+map.get(k).get(a));});});}publicstaticvoidmain(String[]args){show(contrast("我爱楚离陌"));showMore(contrastMore("我爱楚离陌"));}

运行结果如下：

Java代码

********************************************word分词器的分词结果：1、我爱楚离陌Stanford分词器的分词结果：1、我爱楚离陌2、我爱楚离陌Ansj分词器的分词结果：1、我爱楚离陌2、我爱楚离陌HanLP分词器的分词结果：1、我爱楚离陌smartcn分词器的分词结果：1、我爱楚离陌FudanNLP分词器的分词结果：1、我爱楚离陌Jieba分词器的分词结果：1、我爱楚离陌Jcseg分词器的分词结果：1、我爱楚离陌MMSeg4j分词器的分词结果：1、我爱楚离陌IKAnalyzer分词器的分词结果：1、我爱楚离陌********************************************

Java代码

********************************************word分词器的分词结果：1、【全切分算法】我爱楚离陌2、【双向最大最小匹配算法】我爱楚离陌3、【正向最大匹配算法】我爱楚离陌4、【双向最大匹配算法】我爱楚离陌5、【逆向最大匹配算法】我爱楚离陌6、【正向最小匹配算法】我爱楚离陌7、【双向最小匹配算法】我爱楚离陌8、【逆向最小匹配算法】我爱楚离陌Stanford分词器的分词结果：1、【StanfordChineseTreebanksegmentation】我爱楚离陌2、【StanfordBeijingUniversitysegmentation】我爱楚离陌Ansj分词器的分词结果：1、【BaseAnalysis】我爱楚离陌2、【IndexAnalysis】我爱楚离陌3、【ToAnalysis】我爱楚离陌4、【NlpAnalysis】我爱楚离陌HanLP分词器的分词结果：1、【NLP分词】我爱楚离陌2、【标准分词】我爱楚离陌3、【N-最短路径分词】我爱楚离陌4、【索引分词】我爱楚离陌5、【最短路径分词】我爱楚离陌6、【极速词典分词】我爱楚离陌smartcn分词器的分词结果：1、【smartcn】我爱楚离陌FudanNLP分词器的分词结果：1、【FudanNLP】我爱楚离陌Jieba分词器的分词结果：1、【SEARCH】我爱楚离陌2、【INDEX】我爱楚离陌Jcseg分词器的分词结果：1、【简易模式】我爱楚离陌2、【复杂模式】我爱楚离陌MMSeg4j分词器的分词结果：1、【SimpleSeg】我爱楚离陌2、【ComplexSeg】我爱楚离陌3、【MaxWordSeg】我爱楚离陌IKAnalyzer分词器的分词结果：1、【智能切分】我爱楚离陌2、【细粒度切分】我爱楚离陌********************************************

完整代码看这里​