美文网首页
搭建问答系统

搭建问答系统

作者: 漱衣仁止 | 来源:发表于2022-06-27 22:26 被阅读0次

一. 文本数据预处理流程

1. 清洗数据:去除颜文字,html等

2. 分词

3. 去除停用词

4. 去除低频词

二. 搭建倒排表

from gensim.models import KeyedVectors   # 词向量用来比较俩俩之间相似度

三.  训练基于FastText的意图分类模型

意图识别实际上是文本分类任务,需要标注的数据:每一个句子需要对应的标签如闲聊型的,任务型的。

四.排序

基于倒排表返回的结果,再根据余弦相似度来计算query跟候选问题之间的相似度,最后返回相似度最高的问题的答案。将使用BERT来表示句子的向量。

相关文章

  • 搭建问答系统

    一. 文本数据预处理流程 1. 清洗数据:去除颜文字,html等 2. 分词 3. 去除停用词 4. 去除低频词 ...

  • NLP学习-02.问答系统的一般步骤

    什么是问答系统 搭建问答系统有哪些方法 根据语料库搭建 即已有一个预料库包含Q&A,我们来一个计算与库里的Q的相似...

  • 问答对话系统的分类

    问答系统有不同的分类, 根据发展阶段分, 有基于结构化数据对的问答系统;基于自由文本的问答系统;基于问答对的问答系...

  • NLP 学习 - 5常见应用2

    一、常见应用 1.问答系统 (QA) 问答系统的目的是直接提供用户的答案 二问答系统和检索系统的区别:检索系统返回...

  • 文本相似度计算(持续更新。。。)

    文本分析主要应用于问答系统的开发,如基于知识的问答系统(Knowledge-based QA),基于文档的问答系统...

  • Question Answering System 基础篇--中

    1.问答系统简介 问答系统(QuestionAnswering,QA):问答属于计算机科学的信息检索和自然语言处理...

  • 教育机构搭建在线教育平台的优势和劣势分析

    教育机构搭建在线教育的平台一般功能要求有:实现课程点播、考试、问答互动、直播等。系统操作简单,成本可控,适应多种浏...

  • 图形思考与表达的20堂课19 具体问答的结构化图解|共修4期|图

    今日课程的主题是:用问答的方式搭建图解的框架。 问答的方式是很清晰的搭建图解框架的方法,使用的时候有一些地方需要注...

  • 问答系统0

    背景:调研当前问答系统在工业实践中的解决思路 qa系统发展过程如下,现在是基于问答对数据的问答系统 限定域QA事通...

  • 2018-12-17

    支付系统搭建,搭建支付系统的好处! 搭建支付宝微信免签支付系统软件,相较于搭建支付接口支付通道有哪些好处!!!! ...

网友评论

      本文标题:搭建问答系统

      本文链接:https://www.haomeiwen.com/subject/inznvrtx.html