最近一直做知识库的训练，基于公司的场景一直做课程助手、课程推荐专家的训练。
慢慢了基于知识库回答的一些原理，也慢慢给自己解惑了。
众所周知，ChatGPT的token计算方法，是基于用户输入的问题+输出的结果 共同计算出来token总数量的。
如果基于知识库的提问，他用多少token呢？计算方式是怎样的呢？
不停试错后，逐渐了解计算逻辑：
综合来说，** token = 用户输入的问题 + 输出的结果 + 匹配的整段内容（可能多个） + 内置提示语**
计算句子相似度，①常用方法有基于语义和词序相似度计算方法，②基于关系向量模型基于语义和词序的句子相似度计算方法简介...
知识库是基于知识的系统数据库。并不是所有具有智能的程序都拥有知识库，只有基于知识的系统才拥有知识库。许多应用程序都...
火遍全球的ChatGPT真的靠谱吗？ 我们来看看它自己怎么说： ChatGPT是一款基于自然语言处理（NLP）技术...
ChatGpt介绍 ChatGPT是一个基于自然语言处理技术的对话式人工智能，它是由OpenAI开发的一种大型语言...
JSON Web Token (JWT)是一种基于 token 的认证方案。 JSON Web Token 的结构...
都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。 ChatGPT是一种基于大语言...
索引库(FAISS)+知识库(DB)搭建智能客服系统博客[1]基于索引库(FAISS)+知识库(DB)搭建了智能客...
introduction构建基于Token的可扩展的用户管理： token-authentication-scal...
1. JWT和传统token 基于传统的token认证用户登录，服务端给返回token，并将token保存在服务端...
试了下最近爆火的chatGPT，发现这个人工智能不仅知识库丰富而且思维逻辑也不差，对语言模型掌握的也很到位，能准确...
本文标题：解惑了—— ChatGPT基于知识库提问token计算方法
本文链接：https://www.haomeiwen.com/subject/bsdfndtx.html
网友评论