美文网首页
AI小模型语言,创新,迎来突破

AI小模型语言,创新,迎来突破

作者: 水晓朴 | 来源:发表于2024-07-07 23:49 被阅读0次

AI小模型语言,创新,迎来突破

腾讯混元 DiT 模型迎来三大革新,其中包括面向显存受限环境的小显存版本,仅需6GB显存即可高效运行,这无疑为使用个人电脑的开发者们提供了更为友好的解决方案。与此同时,混元 DiT 模型已升级至1.2版,进一步提升了图片生成的质量,同时降低了硬件要求,使得更多开发者能够轻松参与进来。

为了进一步简化开发流程,混元 DiT 现已与Hugging Face合作,将小显存版本、LoRA与ControlNet插件集成至Diffusers库中。这意味着开发者只需通过简单的几行代码,即可调用这些功能,极大地减少了操作复杂度,提升了开发效率。

混元 DiT 现已兼容Kohya,这是一款开源的、轻量级模型微调训练服务,以其直观的图形用户界面著称,广泛应用于扩散模型类文生图模型的训练。通过Kohya,开发者可以轻松完成模型的精细化调整和LoRA模型训练,无需深入了解底层代码细节。训练完成后,模型可无缝对接WebUI等推理界面,形成一套完整的“训练-生图”工作流程。

为解决文生图领域数据集生成的挑战,腾讯混元团队开源了混元 Captioner,一款专为文生图场景设计的打标模型。借助混元 Captioner,开发者能够高效生成高质量的数据集。无论是原始图片集的导入,还是图片与描述的组合,混元 Captioner均能自动生成或优化图片描述,剔除无关信息,提高数据的准确性与实用性。

相较于传统多模态Captioner模型,混元 Captioner在描述生成方面展现出独特优势。它能够生成更加贴合画面内容的描述,避免了描述过于简略或包含过多无关信息的问题。同时,混元 Captioner具备出色的中文描述能力,解决了部分模型中文描述不够精准的局限性,为中文文生图应用提供了有力支撑。

在大语言模型(LLM)风头正盛的当下,小语言模型(SLM)以其独特的魅力崭露头角。xLAM-1B,一个仅有10亿参数的模型,在特定功能调用任务中超越了诸如OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 HAIku等庞然大物,证明了规模并非决定一切。

这股“少即是多”的趋势,不仅挑战了大模型的Scaling Law,也为AI领域的未来开辟了新的可能性。pc端侧模型的普及时代来临。

相关文章

网友评论

      本文标题:AI小模型语言,创新,迎来突破

      本文链接:https://www.haomeiwen.com/subject/mcencjtx.html