对应80亿组参数规模，NVIDIA推出精准度更高的小型自然语言模

对应80亿组参数规模，NVIDIA推出精准度更高的小型自然语言模型Mistral-NeMo-Minitron 8B可以更低成本快速部署于各个边缘运算节点

继先前推出参数规模在120亿组的Mistral NeMo 12B小型自然语言模型后，NVIDIA再次宣布推出参数规模更小、精准度却更高的小型自然语言模型Mistral-NeMo-Minitron 8B，参数规模控制在80亿组，可用于小型工作站，或是快速部署于各个边缘运算节点，同时也能用在资料中心及云端运算丛集。

对应80亿组参数规模，NVIDIA推出精准度更高的小型自然语言模型

相比Mistral NeMo 12B，此次推出的Mistral-NeMo-Minitron 8B将能以更小规模用在多元运算节点，让自动生成式人工智慧技术能在更多运算载具上运作，同时维持相同人工智慧执行效能，甚至更进一步提高其运算精准度。

生成式人工智能（AI）的开发者通常得面临要取捨模型大小还是精确度的难题。不过 NVIDIA 发表的全新语言模型倒是兼具两者之长，这个模型体积小巧，又有著最先进的精确度。

NVIDIA应用深度学习研究部门副总裁Bryan Catanzaro表示：“我们将两种最佳化人工智慧的方法加在一起。这包括以‘剪枝’ (pruning)方式，将原本Mistral NeMo 12B决策分辨能力较弱的运算部分去除，使其参数进一步缩减，另外藉由‘蒸馏’ (distillation)方式提升模型运算精准度，让调整后的Mistral-NeMo-Minitron 8B能以更高效率运作，同时不影响其精准度表现，更可精简模型运算成本。”

目前开发人员可以透过包装成有著标准应用程式界面 (API)的NVIDIA NIM 微服务使用Mistral-NeMo-Minitron 8B模型资源，或是透过Hugging Face下载，并且能将其部署应用在更多以GPU加速运算系统上使用。

推荐阅读：

微软推出参数规模为27亿组的自然语言模型Phi-2