最近一直做知识库的训练,基于公司的场景一直做课程助手、课程推荐专家的训练。
慢慢了基于知识库回答的一些原理,也慢慢给自己解惑了。
首先,token的计算
众所周知,ChatGPT的token计算方法,是基于用户输入的问题+输出的结果 共同计算出来token总数量的。
如果基于知识库的提问,他用多少token呢?计算方式是怎样的呢?
不停试错后,逐渐了解计算逻辑:
- 首先,上面用户输入的问题+输出的结果肯定得计算的。
- 还得有一部分,基于用户输入的问题向量匹配到知识库里的某些分段内容(向量时分段存储),这里计算token是按段整体计算的。
- 还有一部分,内置提示语,也是计算的。
综合来说,** token = 用户输入的问题 + 输出的结果 + 匹配的整段内容(可能多个) + 内置提示语**
网友评论