美文网首页程序员
AI大模型企业应用实战(20)-RAG相似性检索的关键 - Em

AI大模型企业应用实战(20)-RAG相似性检索的关键 - Em

作者: JavaEdge | 来源:发表于2024-06-23 10:49 被阅读0次

    1 文本Embedding

    将整个文本转化为实数向量的技术。

    Embedding优点是可将离散的词语或句子转化为连续的向量,就可用数学方法来处理词语或句子,捕捉到文本的语义信息,文本和文本的关系信息。

    ◉ 优质的Embedding通常会让语义相似的文本在空间中彼此接近:

    ◉ 优质的Embedding相似的语义关系可以通过向量的算术运算来表示:

    2 文本Embedding模型的演进与选型

    目前的向量模型从单纯的基于 NLI 数据集(对称数据集)发展到基于混合数据(对称+非对称)进行训练,即可以做 QQ召回任务也能够做 QD 召回任务,通过添加 Instruction 来区分这两类任务,只有在进行 QD 召回的时候,需要对用户 query 添加上 Instruction 前缀。

    3 VDB通用Embedding模型

    模型选择:

    GPU资源:

    4 VDB垂类Embedding模型

    用户提供垂类文档数据,VDB对模型进行微调,助力垂类应用效果更进一步。

    优化1

    对比学习拉近同义文本的距离,推远不同文本的距离

    优化2

    短文本匹配和长文本匹配使用不同prompt,提升非对称类文本效果

    优化3

    预训练阶段提升基座模型面向检索的能力,对比学习阶段提高负样本数

    5 存储、检索向量数据

    5.1 为啥需要一个专用的向量数据库

    1. 查询方式与传统数据库存在区别
    2. 简单易用,无需关心细节
    3. 为相似性检索设计,天生性能优势

    5.2 腾讯云向量数据库的优势

    “首家”:

    • 通过信通院的标准化性能和规模测试
    • 支持千亿级向量规模和最高500W QPS

    自研:

    • 内核源自集团自研OLAMA引擎
    • 内部已有40+业务接入

    性价比:

    • 性能领先业内平均水平1.5
    • 同时客户成本降低20%

    6 VDB优势

    流程简化

    模型简化:

    共享GPU集群:

    7 商用向量数据库

    消除大模型幻觉,加速大模型在企业落地,如腾讯云:

    7.1 端到端AI套件,AGI时代的知识库解决方案

    提供一站式知识检索方案,实现业界内最高召回率、大幅降低开发门槛,帮助企业快速搭建RAG应用,解决大模型幻觉问题。

    7.2 源自集团多年积累,产品能力行业领先

    源自腾讯自研向量检索引擎OLAMA,集团内部40+业务线上使用,日均处理1600亿次检索请求。

    • 『首家』通过中国信通院向量数据库标准测试
    • 单索引支持最高千亿级超大数据规模
    • 单实例最高可达500万 QPS

    关注我,紧跟本系列专栏文章,咱们下篇再续!

    作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

    各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。

    负责:

    • 中央/分销预订系统性能优化
    • 活动&券等营销中台建设
    • 交易平台及数据中台等架构和开发设计
    • 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
    • LLM应用开发

    目前主攻降低软件复杂性设计、构建高可用系统方向。

    参考:

    本文由博客一文多发平台 OpenWrite 发布!

    相关文章

      网友评论

        本文标题:AI大模型企业应用实战(20)-RAG相似性检索的关键 - Em

        本文链接:https://www.haomeiwen.com/subject/dyglcjtx.html