美文网首页
基于LLM搭建一个AI问答系统步骤

基于LLM搭建一个AI问答系统步骤

作者: 花生草 | 来源:发表于2024-08-28 17:21 被阅读0次

    基于LLM搭建一个AI问答系统,步骤备忘录

    工具

    Langchain4J,适应于java语言,对应python语言的是 Langchain

    步骤

    准备环境

    1. 下载大模型,使用ollama工具下载并运行大模型,类似docker的使用方式,ollma pull llama3; ollma run llama3
    2. 下载向量数据库,并启动

    编写代码

    初始化知识库

    1. maven依赖中导入Langchain4j的包
    2. 使用Langchain4j的函数,加载本地文件,这是作为AI问答系统的知识库源数据的目的
    3. 使用Langchain4j的文档切割工具,将本地文件切分为segments
    4. 利用大模型的EmbeddingModel模型,这个模型是将普通的文本转化为高维度的向量。将segments作为输入,存入上面的向量数据库
      流程图如下:


      image.png

    查询

    1. 利用同一个EmbeddingModel模型,将查询文本转化为embedding
    2. 使用embedding在向量库中检索到匹配的segment
    3. 继续利用大模型推理构建输出。这个需要基于向量库的segment,构建Prompt词。例如, “基于信息回答提问。信息:segment, 提问:xxx?”
    4. 将prompt提示词输入给大模型ollamaChatModel,输出的结果,就是最终的结果了

    相关文章

      网友评论

          本文标题:基于LLM搭建一个AI问答系统步骤

          本文链接:https://www.haomeiwen.com/subject/evqtljtx.html