美文网首页想法@IT·互联网
关于大模型分类,你知道多少

关于大模型分类,你知道多少

作者: shengjk1 | 来源:发表于2024-01-24 19:03 被阅读0次

大模型定义

语言模型(LLM)是通过预测下一个词的监督学习方式进行训练的。具体来说,首先准备一个包含数百亿甚至更多词的大规模文本数据集。然后,可以从这些文本中提取句子或句子片段作为模型输入。模型会根据当前输入 Context 预测下一个词的概率分布。通过不断比较模型预测和实际的下一个词,并更新模型参数最小化两者差异,语言模型逐步掌握了语言的规律,学会了预测下一个词。

在训练过程中,研究人员会准备大量句子或句子片段作为训练样本,要求模型一次次预测下一个词,通过反复训练促使模型参数收敛,使其预测能力不断提高。经过在海量文本数据集上的训练,语言模型可以达到十分准确地预测下一个词的效果。这种以预测下一个词为训练目标的方法使得语言模型获得强大的语言生成能力

大模型分类

基础语言模型

基础语言模型(Base LLM)通过反复预测下一个词来训练的方式进行训练,没有明确的目标导向。因此,如果给它一个开放式的 prompt ,它可能会通过自由联想生成戏剧化的内容。而对于具体的问题,基础语言模型也可能给出与问题无关的回答。例如,给它一个 Prompt ,比如”中国的首都是哪里?“,很可能它数据中有一段互联网上关于中国的测验问题列表。这时,它可能会用“中国最大的城市是什么?中国的人口是多少?”等等来回答这个问题。但实际上,您只是想知道中国的首都是什么,而不是列举所有这些问题。

指令微调的语言模型

相比之下,指令微调的语言模型(Instruction Tuned LLM)则进行了专门的训练,以便更好地理解问题并给出符合指令的回答。例如,对“中国的首都是哪里?”这个问题,经过微调的语言模型很可能直接回答“中国的首都是北京”,而不是生硬地列出一系列相关问题。指令微调使语言模型更加适合任务导向的对话应用。它可以生成遵循指令的语义准确的回复,而非自由联想。目前的绝大多数模型都是指令微调的语言模型

基础语言模型生成指令微调的语言模型

首先,在大规模文本数据集上进行无监督预训练,获得基础语言模型。 这一步需要使用数千亿词甚至更多的数据,在大型超级计算系统上可能需要数月时间。 之后,使用包含指令及对应回复示例的小数据集对基础模型进行有监督 fine-tune,这让模型逐步学会遵循指令生成输出,可以通过雇佣承包商构造适合的训练示例。 接下来,为了提高语言模型输出的质量,常见的方法是让人类对许多不同输出进行评级,例如是否有用、是否真实、是否无害等。 然后,您可以进一步调整语言模型,增加生成高评级输出的概率。这通常使用基于人类反馈的强化学习(RLHF)技术来实现。 相较于训练基础语言模型可能需要数月的时间,从基础语言模型到指令微调语言模型的转变过程可能只需要数天时间,使用较小规模的数据集和计算资源。

相关文章

  • 机器学习入门(十):逻辑回归——用来做分类的回归模型

    现在我们回到 LR 模型本身。 回归模型做分类 从前面关于分类与回归的定义来看,分类模型和回归模型似乎是泾渭分明的...

  • 茶具分类你知道多少?

    古往今来,爱茶之人不在少数,对茶具的研究亦是造诣颇深。今天koenitz小编就和大家一起来了解关于茶具的分类。 茶...

  • 逻辑回归模型(LR)

    1.模型概念 逻辑回归模型是一种分类模型,它可以处理二院分类以及多分类的任务。我们知道,线性回归的模型是求...

  • 垃圾分类之男人搞笑版

    最近,全国上下掀起了一股”垃圾革命“。有一个词“垃圾分类”非常火热。不知你关注到了吗?关于垃圾分类你知道多少?在此...

  • 关于油漆的分类及用途你知道多少?

    日常生活中,油漆是我们经常用到的一样东西,像外墙涂刷啊,房屋装修或者翻新呀,都是离不开“油漆”的。但是对于油漆这一...

  • 敏感肌分类,你知道多少?

    在环境、压力、护肤品等各种因素的作用下,其实每个人离肌肤敏感都不太远。如果一直用错误方法来护理,皮肤会变得...

  • 客户性格分类你知道多少?

    我记得我最开始做销售的时候,有一个很有经验的前辈经常会我们分享:干销售你得会研究,研究啥那就是你得知道你客户是谁,...

  • 关于羊毛分类,你了解多少?

    羊毛制品在生活中很常见,因其保暖性好、富有弹性、舒适度高等优点被大众所喜爱。那么关于羊毛的分类,你了解多少呢? 羊...

  • Logistic 函数 vs Softmax 函数

    嘿,大家好。你知道机器学习中的分类模型么?你知道 Softmax 和 Logistic 函数么?如果你不是很了解这...

  • AdaBoost 公式推导

    首先要知道加法模型和指数损失函数。 加法模型 加法模型是一个加和模型,每一列训练一个分类器 ,并且基于这个分类器的...

网友评论

    本文标题:关于大模型分类,你知道多少

    本文链接:https://www.haomeiwen.com/subject/plsmodtx.html