美文网首页
使用您自己的计算机训练 Stable Diffusion 和 B

使用您自己的计算机训练 Stable Diffusion 和 B

作者: iCloudEnd | 来源:发表于2023-02-24 11:58 被阅读0次

在我们最近的几篇文章中,我们一直在提到围绕大型语言和生成 AI 模型的炒作,以及如何减少推理和训练时间。随着我们的用户开始使用这些模型并对其进行微调,他们自然希望微调和部署包含数千亿参数的模型,以提高其特定用例的性能。

通常,这是一项要求非常高的任务,需要大量计算和 40GB 检查点的存储。这在普通计算机硬件上是不可行的。除了所需的电力和存储之外,这种性质的微调模型需要很长时间才能运行,而且本质上非常昂贵——直到现在。

介绍Huggingface的PEFT库,该库支持LoRA、Prefix Tuning等Parameter Efficient Fine-tuning方法,无需对所有模型参数进行微调,即可使预训练语言模型高效适配各种下游应用。这些不同的技术实现了与完全微调相当的性能。

PEFT方法

相关文章

网友评论

      本文标题:使用您自己的计算机训练 Stable Diffusion 和 B

      本文链接:https://www.haomeiwen.com/subject/fekxldtx.html