转： solr中文分词
http://blog.csdn.net/aidayei/archive/2011/06/05/6526986.aspx
?
我在solr中尝试了以下三种开源中文分词器，其中两种都因为solr版本过高不能用，郁闷，后来将JAR包反编译，找到了原因，下面先简要说明一下三种开源中文分词器
庖丁解牛：google code上最后一次代码提交是2008.6月，不是很活跃，但用的人还很多
mmseg4j：google code上最后一次代码提交是2010.12月，应该还算活跃，采用MMSeg算法，有两种分词方法：Simple和Complex
IKAnalyzer：最近很活跃，2011.3月在google code上提交了一个版本
lucene于今年5月份出了3.2版，solr也对应出了3.2版，高版本有个不好的地方，就是开源的中文分词库，跟不上相应的更新速度，本人用的是3.1 版，在lucene中加入庖丁解牛中文分词器和IKAnalyzer最新版，都会报错。
错误原因如下(以IKAnalyzer为例说明)：
不论是庖丁解牛还是IKAnalyzer，要把分词器放到solr中，需要经承solr中的BaseTokenizerFactory这个类，
?
>?????
mmseg4j 在 solr 中主要支持两个参数：mode、dicPath。mode 表示是什么模式分词。dicPath 是词库目录，网上说可以默认在当前data目录下寻找，经测试好像不行，必须人工给出绝对路径，或许是高版本的问题吧，或许是我哪里设置错了，然后在?http://localhost:8080/solr/admin/analysis.jsp?可以看 mmseg4j 的分词效果，在Field的下拉菜单选择type，然后输入textComplex，特别是和CJK分词器作对比，很明显，CJK是solr官方自带的支持中日韩的分词器，它对中文是采用的二元分词
其实中文分词一直以来是很多人在研究的东西，怎么提高分词效率和匹配正确率是目标，里面的算法实现是它的核心，把它完全吃透，估计都可以写论文了，呵呵，由于时间有限，只是粗略拿来体验了一下。还有就是关于solr/lucene的搜索效率，优化索引，也是一个值得研究的课题。
参考资料：
1.http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html
2.http://lianj-lee.iteye.com/blog/464364
3.http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html
4.http://www.iteye.com/news/9637
5.http://blog.csdn.net/foamflower/archive/2010/07/09/5723361.aspx
突然发现IKAnalyzer在3.1.5版本中，已经实现了对solr的TokenizerFactory接口配置的支持，详见下面这篇文章：
http://linliangyi2007.iteye.com/blog/501228
