有JWT认证的API调用大模型

本文基于Python语言的Flask框架封装自定义的大语言模型推理的API，该API实现了JWT的用户认证，用户数据保存在内置的sqllite数据库中。涉及技术有：轻量数据库sqlite、向量数据库VDB、AppBuilder SDK、千帆SDK、流式输出、JWT认证等。

一、前言

下面代码涉及到的python模块请使用pip install -r requirements.txt进行安装。

appbuilder_sdk==0.9.3

Flask==3.0.3

PyJWT==2.9.0

qianfan==0.4.8

二、代码示例

细节内容请跳转：https://cloud.baidu.com/qianfandev/topic/362164

三、测试效果

测试与大语言模型的对话，
http://localhost:5000/chat_with_ABSDK?user_input=你有什么高兴的事？
注意：在header中的token设置，我这是使用Postman进行测试。

可以看到流式输出的结果：