【博文阅读笔记】LLM应用架构

分类: 人工智能, 架构，LLM，大模型

原博：The architecture of today's LLM applications

一、构建LLM应用的5个步骤

https://github.blog/wp-content/uploads/2023/10/FivestepstobuildingLLMapp.png?resize=1022%2C537?w=1022

1. 确认问题

确认需要使用LLM解决的目标问题，问题规模要能够聚焦，可以快速迭代，但也要足够大，可以让用户惊叹。

• 经验借鉴：GitHub Copilot 经验

2. 选择正确的模型

可以考虑的维度：

1）许可

2）模型的参数量

3）模型性能

3. 定制 LLM

有以下方法：

1）上下文学习（In-context learning）/ prompt 工程

2）人工反馈强化学习（RLHF）

3）微调（Fine-tuning）

4. 设计应用架构

可以分为3类：

1）用户输入：UI，LLM，托管平台

2）输入增强和 prompt 构建工具：数据源，embedding 模型，向量数据库，prompt 构建和优化工具，数据过滤器

3）高效且负责的 AI 工具：LLM 缓存，LLM 内容分类器或过滤器，评估 LLM 输出的遥测服务

5. 线上评估

评估用户真实交互过程中模型的性能和效果

二、LLM 应用架构

https://github.blog/wp-content/uploads/2023/10/LLMapparchitecturediagram.png?resize=3200%2C1700

1. 用户输入工具

1）LLM API 和服务

2）用户界面

3）语音识别工具：支持语音输入

2. 输入增强和 prompt 构建工具

输入增强工具，将用户输入丰富上下文并组装成模型输入，有以下工具：

1）向量数据库

2）embedding 模型

3）数据过滤器：确保 LLM 不会处理未授权的数据，比如个人身份信息

• 相关工具：amoffat/HeimdaLLM

4）prompt 优化工具：通过 prompt 工程组合上下文信息和用户的输入，找到一种可以让 LLM 可以生成与用户输入最相关的结果

• 相关工具：langchain-ai/langchain

3. 高效且负责人的 AI 工具

1）LLM 缓存库：从缓存中找到类似查询的输出，避免重复生成，可以减少演示、计算成本

• 相关工具：zilliztech/GPTcache

2）内容分类器或者过滤器：防止生成有害或者冒犯行的结果

• 相关工具：derwiki/llm-prompt-injection-filtering，laiyer-ai/llm-guard

3）遥测服务：根据用户实际的使用情况，评估应用的表现。

• 相关工具：OpenTelemetry
• 经验借鉴：how GitHub uses OpenTelemetry