基于LLM搭建一个AI问答系统,步骤备忘录
工具
Langchain4J,适应于java语言,对应python语言的是 Langchain
步骤
准备环境
- 下载大模型,使用ollama工具下载并运行大模型,类似docker的使用方式,ollma pull llama3; ollma run llama3
- 下载向量数据库,并启动
编写代码
初始化知识库
- maven依赖中导入Langchain4j的包
- 使用Langchain4j的函数,加载本地文件,这是作为AI问答系统的知识库源数据的目的
- 使用Langchain4j的文档切割工具,将本地文件切分为segments
-
利用大模型的EmbeddingModel模型,这个模型是将普通的文本转化为高维度的向量。将segments作为输入,存入上面的向量数据库
流程图如下:
image.png
查询
- 利用同一个EmbeddingModel模型,将查询文本转化为embedding
- 使用embedding在向量库中检索到匹配的segment
- 继续利用大模型推理构建输出。这个需要基于向量库的segment,构建Prompt词。例如, “基于信息回答提问。信息:segment, 提问:xxx?”
- 将prompt提示词输入给大模型ollamaChatModel,输出的结果,就是最终的结果了
网友评论