![](https://img.haomeiwen.com/i12713060/e639a4798b64d253.jpg)
当今互联的世界中会产生大量的文本数据。该文本信息包括对事物的描述。比如人们在亚马逊评论产品,或者通过博客撰写想法。自然语言处理(NLP
Natural Language Processing)是应用机器学习和其他计算技术来理解和表示口头及书面文本。以下是NLP的关注点:
![](https://img.haomeiwen.com/i12713060/fbf90ce4b292bd3e.jpg)
主题建模:用于确定隐藏结构或存在于文档集合中的“抽象主题”。 主题建模 的有效应用是总结。例如法律文件复杂和冗长,系统将帮助读者获得文档的要点和事情的概括描述。
### 参考资料
- 讨论qq群144081101 591302926 567351477
- [本文最新版本地址](https://china-testing.github.io/python_opencv3_exmaple1.html)
- [本文涉及的python测试开发库](https://github.com/china-testing/python-api-tesing) 谢谢点赞!
- [本文相关海量书籍下载](https://github.com/china-testing/python-api-tesing/blob/master/books.md)
句子分类:分类为不同的标签。例如系统应该能够正确地将“Shahrukh Khan在迪拜事件中着火”归类为“娱乐”,另一句话“火灾爆发在商店对面的Breach糖果医院”进行分类为“新闻”。
机器翻译:世界上语言至少有3000种。大约有一半的使用者少于10,000,大约25%的使用者少于1,000。目前最好的翻译系统是谷歌翻译,但它只涵盖了100多种语言,所以需要开发机器学习翻译模型。
问答 (QA) 系统:根据人们在自然语言中的问题自动回答问题。围绕封闭的域系统构建的QA系统非常准确,因为它们可以检索与搜索相关的文档和文本。
情感分析:理解用户在谈论某事时的需求和意图。人们经常感情用事。
事件提取:以文本形式存储大量数据。例如一些法律文本可能描述了“犯罪”事件,其后是“调查”事件,其后是多个“听证”事件。事件本身可以嵌套,使得“听证”事件可以包括“呈现参数”事件和“呈现证据”事件。
命名实体检测:根据某些预定义的类别提取分类实体或特定信息,如人,组织,地理等。例如文字:“我们习惯湖南的辣味”,我们可以理解“买家”喜欢“辣味且地点有可能在湖南。如果从湖南的买家那里收到足够的证据,更多的这类食品可以在市场上销售。
关系检测:解析文本和识别焦点和代理,然后尝试找到它们之间的关系。例如,句子“迈克有流感”可以转换为人[关系:有] - >疾病。然后可以在业务环境中探索这些关系,以构建智能应用程序。
![](https://img.haomeiwen.com/i12713060/a8adbc082f6f4902.jpg)
许多先前方法的建模技术面临的挑战是NLP需要大量文本数据,并且数据中存在大量的上下文信息。计算模型很难以有效的方式了解所有数据。
目前NLP模型只针主要针对对英语, fastText有可能改变这一切。 fastText团队已经发布了294种语言的预训练wor向量
网友评论