美文网首页ChatGpt
学习ChatGpt(六)- Fine-Tuning

学习ChatGpt(六)- Fine-Tuning

作者: 梅林骑士 | 来源:发表于2023-08-31 13:57 被阅读0次

Fine-Tuning

Fine-Tuning是什么?有什么用途?官方解释:

Fine-Tuning相比普通的prompts,拥有更高的响应质量。它能够在更多专业场景下进行训练,而不仅仅局限于简单的非专业对话场景。相较于普通prompts,Fine-Tuning使用的关键字更为精简,请求速度也更快。

怎么操作?官方指南:

  1. 准备数据集: 你需要准备好用于训练的数据。
  2. 训练Fine-Tuned模型: 进行新的Fine-Tuned模型的训练。
  3. 使用你的Fine-Tuned模型: 将训练好的Fine-Tuned模型应用到实际场景中。

需要注意的是,Fine-Tuning是一项收费服务。关于Fine-Tuned模型的训练和使用费用,可以参考定价页面获取更多信息。

安装步骤:

确保你的Python版本至少为3.0,然后使用以下命令安装OpenAI的Python包:

pip install --upgrade openai

数据格式要求:

你的训练数据必须采用JSON格式。每个completion JSON对象至少应包含一个完整的训练单元。为了与网络通信,它应具有以下格式:

{"prompt": "<提示文本>", "completion": "<理想生成文本>"}
{"prompt": "<提示文本>", "completion": "<理想生成文本>"}
{"prompt": "<提示文本>", "completion": "<理想生成文本>"}
...

关于数据集的要求:

  • 每个最小语句单元必须有一个固定的分隔符,用于指示当前语句的结束。这通常可以使用一个简单的字符分割,例如\n\n###\n\n。请注意,这个分隔符不能在任何正常的训练语句中出现。
  • 由于OpenAI使用训练语句的起始符,每个完整的训练语句必须以一个空格开始。
  • 每个完整的训练语句必须有一个固定的结束符,可以是\n、###或其他不会出现在训练语句中的字符。
  • 最小语句单元应该包含与训练数据集相同的分隔符,并指示相同的停止序列,以便合理地分割训练语句。
    简单来说,最小语句单元就像你提到的“你吃饭了吗?”一样。一个完整的场景对话是一个完整的训练语句。整个训练数据集包含许多这样的训练语句。

如果你觉得官方提供的工具太繁琐,你也可以自己实现JSON格式的转换。实际上,自行编写转换逻辑与使用官方工具的逻辑相似。

希望这些信息能帮到你!如果有任何问题,随时问我。

相关文章

网友评论

    本文标题:学习ChatGpt(六)- Fine-Tuning

    本文链接:https://www.haomeiwen.com/subject/ibeirdtx.html