NLP--自然语言处理简介
整理一下学习自然语言处理的笔记,第一课是简介.
自然语言处理的几个常见运用
1. 信息提取
如下面的这段话:
Hi Dan, we’ve now scheduled the curriculummeeting.
It will be in Gates 159 tomorrow from10:00-11:30.
-Chris
我们通过自然语言处理能够得出如下信息:
2. 语义分析
比如淘宝某个商品的评价,我们能够提取信息,并且根据语义来进行测评.
比如对于一个照相机
提取出如下的主要特征:
zoom ,affordability, size and weight, flash ,ease of use
我们根据语义分析,搜集到关于大小和重量的如下三个评价:
a.拿起来很好很舒适
b.好轻的照相机,我再也不用拿着又大又笨的机器到处跑了.
c.这个照相机太娇嫩了,拿在手上必须非常小心.
再进一步的,通过NLP,我们可以得出前两个是好的评价,最后一个是不好的.
通过这些,我们对于这款相机有了基于NLP的测评指标,如下:
3. 自动翻译.
这个不用解释了,百度翻译等等就是实例.
当前NLP发展研究的现状
很好解决了的问题:
1. 语言检测,判断某句话,某个词是什么语言.
如"spring"是英语,"春天"是中文.
2. 词性判定
动词,副词,形容词,主,谓,宾,等等.
3. 主题识别
时间,地点,任务等.
已经有了很好的效果:
1. 语义识别
如判断一句话是褒义还是贬义,是吐槽还是赞
2. 代词判断
如语言中的"他","它"指的是什么.
3. 二义性分析
像英语中的mouse有鼠标,老鼠两个意思.NLP要通过上下文判断具体是什么意思.
4. 解析语句
比如这句话:我能够通过这扇窗看到海.
NLP的任务是解析这句话的主谓宾,并得到其意思.
5. 自动翻译
6. 信息提取
就是一开始举的例子.提取出邮件的主要信息.
探索阶段问题:
1. 问答系统
2. 语义的总结归纳
如这样三句话:
沪深指数增长.
房价上涨
人民币增值
总结:经济很好.
3. 对话
类似于iphone的siri,人机对话.
为什么自然语言处理不容易?
1. 非标准话的语言
如火星语,省略句,语病等
2. 谚语,习语,地方性语言,新词.
3. 深层次的语言:
如:我和我的小伙伴们…
4. 专业语言:
如:KL距离,PCA
常用的解决方法.
运用机器学习,数据挖掘,统计学等等的方法来学习
接下来几篇blog继续NLP的讨论.
