美文网首页AIGC&ChatGPT
解惑了—— ChatGPT基于知识库提问token计算方法

解惑了—— ChatGPT基于知识库提问token计算方法

作者: 求知笔记 | 来源:发表于2023-12-26 13:10 被阅读0次

    最近一直做知识库的训练,基于公司的场景一直做课程助手、课程推荐专家的训练。

    慢慢了基于知识库回答的一些原理,也慢慢给自己解惑了。

    首先,token的计算

    众所周知,ChatGPT的token计算方法,是基于用户输入的问题+输出的结果 共同计算出来token总数量的。

    如果基于知识库的提问,他用多少token呢?计算方式是怎样的呢?

    不停试错后,逐渐了解计算逻辑:

    • 首先,上面用户输入的问题+输出的结果肯定得计算的。
    • 还得有一部分,基于用户输入的问题向量匹配到知识库里的某些分段内容(向量时分段存储),这里计算token是按段整体计算的。
    • 还有一部分,内置提示语,也是计算的。

    综合来说,** token = 用户输入的问题 + 输出的结果 + 匹配的整段内容(可能多个) + 内置提示语**

    相关文章

      网友评论

        本文标题:解惑了—— ChatGPT基于知识库提问token计算方法

        本文链接:https://www.haomeiwen.com/subject/bsdfndtx.html