美文网首页
大模型测试

大模型测试

作者: Jeff_9021 | 来源:发表于2024-01-01 23:21 被阅读0次

一、性能指标

对于大模型,特别是深度学习模型,需要关注其在硬件资源上的消耗,如内存、计算资源等。

稳健性测试:大模型可能对输入中的小变化非常敏感,因此需要进行对抗性测试,以验证模型在面对恶意输入或轻微扰动时的稳健性。

Performance Testing

确定性能指标

设计一套测试集,评估模型的整体性能指标

        样本数量

          样本多样性

关注响应性能

          回答过程的出字率

          回答完问题的响应时间

          测试系统在并发负载下的性能,确保在高负载时也能正常运行

维护测试集,建立性能基线数据

            使用标准数据集测试,测试模型的准确度

            要基于对Adapter层的认知、以及用户应用场景,构建测试集

            使用了什么算法

            什么样的推理规则

            如何构建提示词

            如何修正LLM的输出

相关文章

  • 软件测试基础理论(三)

    软件测试模型 V模型(重点) 用户需求 验收测试 ...

  • 软件测试的流程

    软件测试的流程软件测试的流程分为四个模型,分别为V模型和W模型和H模型和X模型 这两个模型属于软件测试流程的模型 ...

  • 1、软件测试模型

    常见的软件测试模型有V模型和W模型(敏捷测试除外) 测试阶段步骤的介绍 单元测试单元测试属于白盒测试,大部分情况是...

  • 2019-03-04

    # 1. 过拟合表现: - 模型对训练集表现很好,对测试集拟合不好 - Loss(训练)小,Loss(测试)大 #...

  • 黑马基础

    软件开发过程模型: 瀑布模型,快速模型,螺旋模型 测试模型: V模型:需求分析、概要设计、详细设计、编码、单元测试...

  • 23.1 信息系统综合测试与管理

    软件测试模型 软件测试模型总表 1. V模型 V模型及优缺点 2. W模型 W模型及优缺点 3. H模型 H模型及...

  • 软件测试模型

    关键词:测试模型 按测试模式来分类: 瀑布模型、敏捷测试、基于脚本的测试、基于风险的测试、探索式测试等。 1、(传...

  • 软件质量特性及测试类别梳理-摘自正厚7期——杨秀梅

    一、软件测试质量 ISO9126质量模型:软件质量模型的6大特性和27个子特性。 ISO9126软件质量模型是评价...

  • 自动化测试的测试模型有哪些?优缺点分别是什么?

    自动化测试的测试模型有哪些?测试行业从业者需要掌握的测试模型有线性测试、模块化驱动测试、数据驱动测试以及行为驱动测...

  • 软件测试模型

    V模型 在软件测试方面,V模型是最广为人知的模型,尽管很多富有实际经验的测试人员还是不太熟悉V模型,或者其它的模型...

网友评论

      本文标题:大模型测试

      本文链接:https://www.haomeiwen.com/subject/cfhpndtx.html