首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

用字典树干中文分词

2012-08-25 
用字典树做中文分词最近在用字典树的结果做中文分词,据说可以把查询复杂度降低到被查询词的长度O(N).于是

用字典树做中文分词
最近在用字典树的结果做中文分词,据说可以把查询复杂度降低到被查询词的长度O(N).
于是我用字典树构造分词词典,并用最大逆向匹配算法分词.
发现了一个问题:
虽然分词的过程确实很快,但是构造字典树的时间花费比较长,导致无论分一句话还是一篇文章,时间大约都要1秒以上.
因为构造字典树的时间约为1秒.
不知道如何改进这部分的时间?
采用的词典为27万词的超大词典.

字典树的结构,每个节点下的孩子都是HashMap.提高查询效率.

热点排行