首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

solr汉语分词的实现

2013-06-26 
solr中文分词的实现???如果需要检索某个域,还需要在scheme.xml下面的field中,添加指定的域,用text_zh来作

solr中文分词的实现

?

?


?

如果需要检索某个域,还需要在scheme.xml下面的field中,添加指定的域,用text_zh来作为type的名字,来完成中文切词。

如 title要是实现中文检索的话,就要做如下的配置:

<field name="title" type="text_zh" indexed="true" stored="true" multiValued="true"/>

但是目前用到的都是原来xml自带的field名字,如果添加新的field,在把xml添加到索引文件时会出现不认识新加字段的问题,目前没不知道原因,估计除了需要在schema.xml里配置,还需要在其他地方做配置才行。有待于继续发掘。

2 优化

配置solrconfig.xml,用来配置Solr的一些系统属性,比较重要的一个就是可以通过更改其中的dataDir属性来指定索引文件的存放 位置,对于有大数据量的情况下还要进行自动commit操作配置,以下设置为当内存索引量达到20W条时自动进行往磁盘写操作,以免堆溢出,这也是解决单 个入库xml文件最好不要超过30M的有效方法:

Xml代码??

<autocommit>    <maxdocs>200000</maxdocs>  </autocommit>  

?
?

?

3:验证


Solr在 Tomcat里,所以启动Tomcat即可,建议初期用bootstrap.jar,方便发现配置中的错误,如

进入目录/home/tomcat/bin ,然后敲入 java -jar bootstrap.jar即可运行,不报错的话就可以正常访问了

http://127.0.0.1:8983/solr/ 或者http://localhost:8983/solr/admin/

?

?

?


[Solr分词顺序]

  Solr建立索引和对关键词进行查询都得对字串进行分词,在向索引库中添加全文检索类型的索引的时候,Solr会首先用空格进行分词,然后把分词结果依次使用指定的过滤器进行过滤,最后剩下的结果才会加入到索引库中以备查询。分词的顺序如下:

  索引

  1:空格whitespaceTokenize

  2:过滤词StopFilter

  3:拆字WordDelimiterFilter

  4:小写过滤LowerCaseFilter

  5:英文相近词EnglishPorterFilter

  6:去除重复词RemoveDuplicatesTokenFilter


?

热点排行