Lucene中文分词组件JE-Analysis1.5.0
<!-- Title Start-->
Lucene中文分词组件JE-Analysis1.4.0 分词效率：?第一次分词需要1－2秒（读取词典），之后速度基本与Lucene自带分词持平。 该组件免费安装使用传播，无限制商业应用，但暂不开源，也不提供任何保证。
运行环境： Lucene 1.9+
内存消耗： 30M+
1.4.0 —— 2006-08-21
增加词典的动态扩展能力
1.3.3 —— 2006-07-23
修正无法多次增加词典的问题
1.3.2 —— 2006-07-03
修正细粒度分词错误的问题
1.3.1 —— 2006-06-23
修正在某些情况下分词遗漏的问题
1.3 —— 2006-06-22
实现了词尾消歧算法中第一层的过滤
增加日期时间的匹配
1.2.2 —— 2006-06-13
完善了中英文噪声词典
1.2.1 —— 2006-06-10
修正中文数字成语无法识别的问题
1.2 —— 2006-06-08
增加中文数字的匹配（如：二零零六）
数量词采用“n”作为数字通配符
优化词典结构以便修改调整
1.1 —— 2006-06-06
增加扩展词典的静态读取方法
1.0.1 —— 2006-06-02
修正无法识别生僻字的问题
1.0 —— 2006-05-29
支持英文、数字、中文（简体）混合分词
常用的数量和人名的匹配
超过22万词的词库整理
实现正向最大匹配算法
支持分词粒度控制
<!--Content End-->构造方法?
?//采用正向最大匹配的中文分词算法，相当于分词粒度等于0
?MMAnalyzer analyzer = new MMAnalyzer();
?
?//参数为分词粒度：当字数等于或超过该参数，且能成词，该词就被切分出来
?MMAnalyzer analyzer = new MMAnalyzer(2);
词库管理方法
?//增加一个新词典，采用每行一个词的读取方式
?MMAnalyzer.addDictionary(reader);
?
?//增加一个新词
?MMAnalyzer.addWord(newWord);
字符串切分
?package demo.analysis;
?
?import java.io.IOException;
?
?import jeasy.analysis.MMAnalyzer;
?
?public class Segment
?{
??
???? public static void main(String[] args)
???? {
???????? String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，"
???????? ?+ "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，"
???????? ?+ "20000余人受伤，近20万人无家可归。";
????????
???????? MMAnalyzer analyzer = new MMAnalyzer();
???????? try
???????? {
???????????????? System.out.println(analyzer.segment(text, " | "));
???????? }
???????? catch (IOException e)
???????? {
???????????????? e.printStackTrace();
???????? }
???? }
?}
生成效果：
据 | 路透社 | 报道 | 印度尼西亚 | 社会 | 事务 | 部 | 官员 | 星期二 | 29日 | 表示 | 日惹 | 市 | 附近 | 当地时间 | 27日 | 晨 | 5时 | 53分 | 发生 | 里氏 | 6.2级 | 地震 | 已经 | 造成 | 至少 | 5427人 | 死亡 | 20000 | 余人 | 受伤 | 近 | 20万人 | 无家可归 |
Lucene搜索
?package demo.analysis;
?
?import jeasy.analysis.MMAnalyzer;
?
?import org.apache.lucene.analysis.Analyzer;
?import org.apache.lucene.document.Document;
?import org.apache.lucene.document.Field;
?import org.apache.lucene.index.IndexWriter;
?import org.apache.lucene.queryParser.QueryParser;
?import org.apache.lucene.search.Hits;
?import org.apache.lucene.search.IndexSearcher;
?import org.apache.lucene.search.Query;
?import org.apache.lucene.store.Directory;
?import org.apache.lucene.store.RAMDirectory;
?
?public class Segment
?{
????
???? public static void main(String[] args)
???? {
???????? String fieldName = "text";
???????? String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，"
???????????? + "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，"
???????????? + "20000余人受伤，近20万人无家可归。"; //检索内容
?
???????? //采用正向最大匹配的中文分词算法
???????? Analyzer analyzer = new MMAnalyzer();
?
???????? Directory directory = new RAMDirectory();
???????? //Directory directory = FSDirectory.getDirectory("/tmp/testindex", true);
?
???????? try
????????? {
???????????? IndexWriter iwriter = new IndexWriter(directory, analyzer, true);
???????????? iwriter.setMaxFieldLength(25000);
???????????? Document doc = new Document();
???????????? doc.add(new Field(fieldName, text, Field.Store.YES, Field.Index.TOKENIZED));
???????????? iwriter.addDocument(doc);
???????????? iwriter.close();
????????????
???????????? IndexSearcher isearcher = new IndexSearcher(directory);
???????????? QueryParser parser = new QueryParser(fieldName, analyzer);
???????????? Query query = parser.parse("印度尼西亚 6.2级地震");//检索词
???????????? Hits hits = isearcher.search(query);
???????????? System.out.println("命中：" + hits.length());
?
???????????? for (int i = 0; i < hits.length(); i++)
???????????? {
???????????????? Document hitDoc = hits.doc(i);
???????????????? System.out.println("内容：" + hitDoc.get(fieldName));
???????????? }
?
???????????? isearcher.close();
???????????? directory.close();
???????? }
???????? catch (Exception e)
???????? {
???????????? e.printStackTrace();
???????? }??
???? }
????
?}
生成效果：
命中：1
内容：据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，20000余人受伤，近20万人无家可归。
搜索词加亮
?package demo.analysis;
?
?import jeasy.analysis.MMAnalyzer;
?
?import org.apache.lucene.analysis.Analyzer;
?import org.apache.lucene.analysis.TokenStream;
?import org.apache.lucene.document.Document;
?import org.apache.lucene.document.Field;
?import org.apache.lucene.index.IndexReader;
?import org.apache.lucene.index.IndexWriter;
?import org.apache.lucene.index.TermPositionVector;
?import org.apache.lucene.queryParser.QueryParser;
?import org.apache.lucene.search.Hits;
?import org.apache.lucene.search.IndexSearcher;
?import org.apache.lucene.search.Query;
?import org.apache.lucene.search.highlight.Highlighter;
?import org.apache.lucene.search.highlight.QueryScorer;
?import org.apache.lucene.search.highlight.TokenSources;
?import org.apache.lucene.store.Directory;
?import org.apache.lucene.store.RAMDirectory;
?
?public class Segment
?{
?
???? public static void main(String[] args)
???? {
???????? String fieldName = "text";
???????? String text = "据路透社报道，印度尼西亚社会事务部一官员星期二(29日)表示，"
???????????? + "日惹市附近当地时间27日晨5时53分发生的里氏6.2级地震已经造成至少5427人死亡，"
???????????? + "20000余人受伤，近20万人无家可归。"; //检索内容
?
???????? //采用正向最大匹配的中文分词算法
???????? Analyzer analyzer = new MMAnalyzer();
?
???????? Directory directory = new RAMDirectory();
???????? //Directory directory = FSDirectory.getDirectory("/tmp/testindex", true);
?
???????? try
???????? {
???????????? IndexWriter iwriter = new IndexWriter(directory, analyzer, true);
???????????? iwriter.setMaxFieldLength(25000);
???????????? Document doc = new Document();
???????????? doc.add(new Field(fieldName, text, Field.Store.YES,
???????????????????? Field.Index.TOKENIZED,
???????????????????? Field.TermVector.WITH_POSITIONS_OFFSETS));
???????????? iwriter.addDocument(doc);
???????????? iwriter.close();
?
???????????? IndexSearcher isearcher = new IndexSearcher(directory);
???????????? QueryParser parser = new QueryParser(fieldName, analyzer);
???????????? Query query = parser.parse("印度尼西亚 6.2级地震");//检索词
???????????? Hits hits = isearcher.search(query);
???????????? System.out.println("命中：" + hits.length());
?
???????????? Highlighter highlighter = new Highlighter(new QueryScorer(query));
???????????? for (int i = 0; i < hits.length(); i++)
???????????? {
???????????????? text = hits.doc(i).get(fieldName);
???????????????? TermPositionVector tpv = (TermPositionVector) IndexReader.open(
???????????????????? directory).getTermFreqVector(hits.id(i), fieldName);
???????????????? TokenStream tokenStream = TokenSources.getTokenStream(tpv);
???????????????? String result = highlighter.getBestFragments(tokenStream, text, 3, "...");
???????????????? System.out.println("内容：" + result);
???????????? }
?
???????????? isearcher.close();
???????????? directory.close();
???????? }
???????? catch (Exception e)
???????? {
???????????? e.printStackTrace();
???????? }
???? }
?
?}
生成效果： 命中：1 内容：据路透社报道，<B>印度尼西亚</B>社会事务部一官员星期二(29日)表示，日惹市附近当地时间27日晨5时53分发生的里氏<B>6.2级</B><B>地震</B>已经造成至少5427人死亡，20000余人受伤，近20万人无家可归
?
1 楼 i5cn 2009-07-02 然后要如何加载类库呢？ 2 楼 p_x1984 2009-07-02 它有个专门的包：IKAnalyzer1.4.jar 3 楼 tohzf 2009-07-02 对中文分词来说不错的.