首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

统计自然语言处理基础——学习提要(1)

2012-12-21 
统计自然语言处理基础——学习摘要(1)句子边界的启发式检测算法:(1)在.?!(和可能的:-)出现位置之后加一个假

统计自然语言处理基础——学习摘要(1)
句子边界的启发式检测算法:
(1)在.?!(和可能的;:-)出现位置之后加一个假设的句子边界。
(2)如果假设边界后面有引号,那么把假设边界移到引号后面。
(3)除去以下情况中句点的边界资格:
     -如果在句点之前是一个不总出现在句子末尾的众所周知的缩写形式,而且通常后面会跟一
      个大写的名字,例如Prof.或者vs.。
     -如果句点前面是一个众所周知的缩写形式,但是句点后面没有大写词。这样即可正确地处
      理像etc.或者Jr.这样的大多数缩写用法,这些缩写一般出现在句子的中间或者末尾。
(4)如果下面的条件成立,则除去?或者!的边界资格:
     -这些符号后面跟着一个小写字母(或者一个已知名字)。
(5)认为其他假设边界就是句子的边界。

检测句子边界可以看出是一个分类问题。

热点排行