概述

绩效度量的验证使用场景分为：进行式、总结式

只有总结式度量才有可能采用数据埋点，因此以下讨论均基于总结式度量

进行式：因产品出于设计过程中，没有上线，所以无法使用数据埋点，得到数据验证结果

总结式：产品已上线，理论可通过数据埋点，获取验证结果

绩效-任务成功

定义：测量用户能在多大程度上有效的完成一系列的任务

度量内容

二分式成功：通过赋值“成功”=1、“失败”=0，和置信区间，来计算出任务的成功平均值或其他数据

成功等级：通过赋值于不同程度的成功（典型做法分成3-6个等级，常用做法分3个等级，成功、部分成功、失败），得出平均成功分

分析

「二分式成功」

由上面的内容可知，

1、二分式成功只需要知道成功、失败的节点就好。

2、二分式成功的度量需要明确任务的完成、失败节点，且可追踪测量。

因此只需要明确二分式成功的完成、失败的操作节点，就可使用数据分析，因数据埋点的测试用户量为全量，因此不需要考虑置信区间的问题，得出的结果无需考虑误差。

「成功等级」

由上部分内容可知，

1、需要明确成功、失败的节点，对于成功、失败的定义和二分式没有区别。

2、定义中间状态，较为复杂，由多种定义方法，中间状态的定义难以匹配到唯一的操作，也就不易用数据埋点追踪。

因此对于成功等级的度量，简单一些的成功等级，各级别可匹配到唯一的操作状态时，可使用数据度量，但对于一些负责的成功等级度量使用数据埋点进行追踪的难度较大

结论

1、二分式成功可通过数据分析获得准确度量数据。

2、成功等级中对于中间状态定义清晰且能匹配唯一操作时，可使用数据埋点进行获取度量结果。其他情况难度较大或难以进行数据埋点度量。

绩效-任务时间

定义：测量用户需要多少时间能完成任务

度量内容

定义清晰开始状态和结束状态，通过计时器计算两个状态间的耗时

分析

测量任务时间比较简单，只需要定义清楚开始的动作、结束的动作，并且可以追踪就可以采用数据埋点来获取度量结果。但限于技术问题，数据埋点追踪 仅可在统一平台进行追踪，例如一个任务是通过应用原生代码+H5内嵌结合的项目，较难获取两个状态间的耗时。

结论

1、测试任务全部原生代码/全部h5代码可通过数据埋点获取度量结果

2、测试任务为原生代码+h5混合，不可通过数据埋点获取度量结果 

绩效-错误

定义：任务过程中的一些过失，或者不正确的操作。

度量内容

清晰定义正确和不正确，测量用户犯错的数量。  

分析

因任务出错的形式各种各样，例如：没有操作、反复操作等，清晰定义正确和不正确后，仍会存在无法定量跟踪情况，因一个错误不一定是由为一个操作构成，因此采用数据埋点来获取结果难度较大，甚至无法获取准确的结果。

结论

错误的度量难以通过数据埋点获取度量结果

绩效-效率

定义

测量用户完成任务过程中所付出的努力

度量内容

操作数量：定义清楚任务中需要测量的操作动作，较复杂的动作要定义清楚开始和结束节点。计算操作数量并计算任务中操作数量的均值。

迷失度：通过记录操作任务中访问不同的页面的数量、总的页面数量、完成任务时必须访问的最小页面数，并通过计算公式得出一个迷失度的值。

结合任务成功和任务时间的效率：计算单位时间内的任务成功。

分析

「操作数量」

只要能清晰定义清楚需要监测的操作动作，但其中定义操作动作较为复杂，例如：发送消息等由多个子操作组成，但若是该操作的开始结束状态可监测，同样可以获取度量结果；还有一些难以监测的操作，例如：查看页面的等，无法使用数据埋点进行获取度量结果（页面的可见pv不准确，无法准确知晓页面的查看次数）

「迷失度」

主要测量的时用户访问页面的数量，通过页面的可见pv和uv可以计算，至于最小路径在设计应就可由方案。因此迷失度的度量方法是可以通过数据度量来获取结果

「结合任务成功和任务时间的效率」

该方式的效率度量要参考任务成功和任务时间两个方式的度量方法是否能通过数据埋点获取结果

结论

1、操作数量：复杂程度较高，难以使用数据埋点进行获取度量结果，且若可以，其获取成本想多也会较高，需平衡不同方案的成本。

2、迷失度：可以通过数据埋点来获取度量结果

3、结合任务成功和任务时间的效率：依赖于任务成功和任务时间的测量情况

绩效-易学性

定义：测量绩效随时间提高或未提高的方法。

度量内容

易学性的度量测量主体是效率在时间维度上的表现。

分析

易学性的测量方式依赖于任务时间、错误、效率的度量方法，因此能否用埋点获取度量结果可需视其他度量方式的情况而定。

结论

依赖于任务时间、错误、效率的测量情况。