自然语言处理工具fastText快速入门1.1介绍-简介

作者: python测试开发 | 来源:发表于2018-12-14 22:12 被阅读6次

当今互联的世界中会产生大量的文本数据。该文本信息包括对事物的描述。比如人们在亚马逊评论产品,或者通过博客撰写想法。自然语言处理(NLP

Natural Language Processing)是应用机器学习和其他计算技术来理解和表示口头及书面文本。以下是NLP的关注点:

主题建模:用于确定隐藏结构或存在于文档集合中的“抽象主题”。 主题建模 的有效应用是总结。例如法律文件复杂和冗长,系统将帮助读者获得文档的要点和事情的概括描述。

### 参考资料

-  讨论qq群144081101 591302926 567351477

-  [本文最新版本地址](https://china-testing.github.io/python_opencv3_exmaple1.html)

-  [本文涉及的python测试开发库](https://github.com/china-testing/python-api-tesing) 谢谢点赞!

-  [本文相关海量书籍下载](https://github.com/china-testing/python-api-tesing/blob/master/books.md)

句子分类:分类为不同的标签。例如系统应该能够正确地将“Shahrukh Khan在迪拜事件中着火”归类为“娱乐”,另一句话“火灾爆发在商店对面的Breach糖果医院”进行分类为“新闻”。

机器翻译:世界上语言至少有3000种。大约有一半的使用者少于10,000,大约25%的使用者少于1,000。目前最好的翻译系统是谷歌翻译,但它只涵盖了100多种语言,所以需要开发机器学习翻译模型。

问答 (QA) 系统:根据人们在自然语言中的问题自动回答问题。围绕封闭的域系统构建的QA系统非常准确,因为它们可以检索与搜索相关的文档和文本。

情感分析:理解用户在谈论某事时的需求和意图。人们经常感情用事。

事件提取:以文本形式存储大量数据。例如一些法律文本可能描述了“犯罪”事件,其后是“调查”事件,其后是多个“听证”事件。事件本身可以嵌套,使得“听证”事件可以包括“呈现参数”事件和“呈现证据”事件。

命名实体检测:根据某些预定义的类别提取分类实体或特定信息,如人,组织,地理等。例如文字:“我们习惯湖南的辣味”,我们可以理解“买家”喜欢“辣味且地点有可能在湖南。如果从湖南的买家那里收到足够的证据,更多的这类食品可以在市场上销售。

关系检测:解析文本和识别焦点和代理,然后尝试找到它们之间的关系。例如,句子“迈克有流感”可以转换为人[关系:有]  - >疾病。然后可以在业务环境中探索这些关系,以构建智能应用程序。

许多先前方法的建模技术面临的挑战是NLP需要大量文本数据,并且数据中存在大量的上下文信息。计算模型很难以有效的方式了解所有数据。

目前NLP模型只针主要针对对英语, fastText有可能改变这一切。 fastText团队已经发布了294种语言的预训练wor向量

相关文章

网友评论

    本文标题:自然语言处理工具fastText快速入门1.1介绍-简介

    本文链接:https://www.haomeiwen.com/subject/qdvnhqtx.html