面向大模型的垂直领域精调,现在有个开源的开发框架,叫做Langchain,非常好用。
它把这些开源模型微调的工作组组装起来了。它的作用就是可以让AI开发人员把像LLama,chatGLM、千问、Yi等一些开源大模型,然后做我们上周提到过的LoRA等微调方式,结合知识库的管理,可以往里面上传数据,做本地化部署,可以定制化自己的大模型,然后运用我们自己的算力去训练大模型,这就是Langchain这个平台能够带来的作用,其中Langchain chat-chat是它的页面UI端。
这里引用下官方对Langchain平台的介绍:
LangChain的功能主要集中在以下几个方面:
1. 提供对大型语言模型(LLM) 的调用和缓存支持:LangChain为开发人员提供了调用和缓存支持,使得他们可以更方便地利用LLM的能力。
2. 用于构建聊天机器人、 生成式问答(GQA) 和摘要等应用程序:LangChain提供了用于构建这些应用程序的工具和组件,使得开发人员可以快速构建这些应用程序。
3.文档加载器和索引支持:LangChain提供了文档加载器和索引支持,使得开发人员可以轻松地加载和索引文档数据。
4. 文档分割器和向量化:LangChain提供了文档分割器和向量化功能, 使得开发人员可以对文档数据 进行分割和向量化操作。
5. 对接向量存储与搜索:LangChain提供了对接向量存储与搜索的功能, 使得开发人员可以利用向量存储和搜索技术来处理文档数据。
6. 提供丰富的API和工具:LangChain提供了丰富的API和工具,使得开发人员可以方便地进行自然语言处理任务,如文本分类、情感分析、命名实体识别等。
可以看到Langchain也提供了Agent(代理机器人)的能力,比如常用的RAG(检索知识增强)其实就是Agent的一种,就可以先在知识库里查询知识,再重组优化提示词。加入查询到的相关知识,然后再输入到大模型中去生成答案;而不是上来就直接拿用户写的提示词来生成答案。当然还有其他一些Agent,比如seq2seq做机器翻译,接入第三方API来做更多的事情,像地图服务、天气查询、联网搜索等都OK。
今天简单介绍了下Langchain,当然自己让你对它有个初步了解。如果想深度使用,可以搜索网络上的相关教程。
网友评论