美文网首页@IT·互联网
Langchain框架:大模型精调的瑞士军刀

Langchain框架:大模型精调的瑞士军刀

作者: 吴言不语零一二三 | 来源:发表于2024-04-07 09:30 被阅读0次

面向大模型的垂直领域精调,现在有个开源的开发框架,叫做Langchain,非常好用。

它把这些开源模型微调的工作组组装起来了。它的作用就是可以让AI开发人员把像LLama,chatGLM、千问、Yi等一些开源大模型,然后做我们上周提到过的LoRA等微调方式,结合知识库的管理,可以往里面上传数据,做本地化部署,可以定制化自己的大模型,然后运用我们自己的算力去训练大模型,这就是Langchain这个平台能够带来的作用,其中Langchain chat-chat是它的页面UI端。

这里引用下官方对Langchain平台的介绍:

LangChain的功能主要集中在以下几个方面:

 1. 提供对大型语言模型(LLM) 的调用和缓存支持:LangChain为开发人员提供了调用和缓存支持,使得他们可以更方便地利用LLM的能力。

 2. 用于构建聊天机器人、 生成式问答(GQA) 和摘要等应用程序:LangChain提供了用于构建这些应用程序的工具和组件,使得开发人员可以快速构建这些应用程序。

 3.文档加载器和索引支持:LangChain提供了文档加载器和索引支持,使得开发人员可以轻松地加载和索引文档数据。

 4. 文档分割器和向量化:LangChain提供了文档分割器和向量化功能, 使得开发人员可以对文档数据 进行分割和向量化操作。

 5. 对接向量存储与搜索:LangChain提供了对接向量存储与搜索的功能, 使得开发人员可以利用向量存储和搜索技术来处理文档数据。

 6. 提供丰富的API和工具:LangChain提供了丰富的API和工具,使得开发人员可以方便地进行自然语言处理任务,如文本分类、情感分析、命名实体识别等。

可以看到Langchain也提供了Agent(代理机器人)的能力,比如常用的RAG(检索知识增强)其实就是Agent的一种,就可以先在知识库里查询知识,再重组优化提示词。加入查询到的相关知识,然后再输入到大模型中去生成答案;而不是上来就直接拿用户写的提示词来生成答案。当然还有其他一些Agent,比如seq2seq做机器翻译,接入第三方API来做更多的事情,像地图服务、天气查询、联网搜索等都OK。

今天简单介绍了下Langchain,当然自己让你对它有个初步了解。如果想深度使用,可以搜索网络上的相关教程。

相关文章

  • 产品设计方法论

    设计产品主要分为5个步骤,绘模型——描需求——搭框架——定流程——抠细节。 一、绘模型 精益画布: 1、问题:需要...

  • #知识之外的个人素质#本周谷歌方法论学习笔记

    本周学习要点: 第一、粗调和精调。 粗调就是先用低成本解决主要问题,或者确定大的方向。精调是把最后的5%,10%做...

  • 实战_电商场景中精排服务的实践

    精排服务框架介绍 框架流程图 机器学习平台 数据流服务: 产生训练所需的训练样本 训练平台: 模型开发和训练的统一...

  • 资产记账法

    ​财务今天有调的框架。之前我们已经掌握了一个让家庭财务的框架叁加壹财富水池模型,不过很多朋友开始实践的时候,会向我...

  • 5分钟学习zookeeper:使用Curator事半功倍

    Apache Curator被称为zookeeper客户端开发的瑞士军刀。该框架把zookeeper原生的api封...

  • 你在做什么?PORT?

    PORT,是个框架模型。PORT,是个框架模型。PORT,是个框架模型。 框架是能力吗?当然是。别忘了,最重要的基...

  • 《学会洞察行业》Part 4-研究分析 深入浅出

    1、掌握七大分析模型2、学会构建行业分析报告的框架 一、构建行业分析模型的框架 1、行业发展概述(行业概述,最近3...

  • 面试问题总结

    1. 说说对mvvm框架的理解。 mvvm框架有模型、视图、视图模型组成。它与mvc框架的区别在于,mvc模型、视...

  • 01,koa简介,安装,简单实用

    Koa 框架介绍 Node.js 是一个异步的世界,异步编程模型会带来回调地域koa 是由Express 原班人马...

  • 《中国精众营销发展报告》拆书

    精众市场的四大特征:精选、精英、精致、精明 精众营销的TRUST模型:T聚焦精众、R建立关系、U与环境共生的创意升...

网友评论

    本文标题:Langchain框架:大模型精调的瑞士军刀

    本文链接:https://www.haomeiwen.com/subject/jkwztjtx.html