本文将以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。enjoy~
image
做产品的人，通常要问自己这些问题：
- “我们这款现在口碑如何？”
- “这个功能，用户使用起来满意度怎么样？”
- “这一次更新，体验有提升吗”
- “和竞品A比，我们有优缺点是什么”
- ……
所谓“知己知彼”，我们通常更轻易“知彼”（了解竞品），因为有市场的检验、用户的口碑，还有自己切身操作体验。然而对于“知己”，则不那么确定了，一来因为主观的“先入为主、身在其中”常常让我们盲目，二来是我们常常没有一个可靠的评估系统。
评估、反馈对于产品的进化非常重要。但我们平常往往是这样做的：
“这次改版之后，用户说了什么？有不好的声音吗？”
“用户又降了，这版做的不够好吗？”
“看下用户对这次优化的总体评分怎样？”
以上信息，本质上的都是反馈，但是信息杂乱、模糊，我们无法从中得到对于产品各个侧面用户精确的满意度。
我们需要一个稳定、全面、客观的评估工具。
- 稳定：采用统一指标、统一度量，能够重复测量使用；
- 全面：所设指标包含用户和这个功能（系统）接触的所有信息面，无遗漏；
- 客观：要求测量指标全面、严谨，对于不同样本施测能得到稳定一致的结果。
以下，我们以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。
STEP 1 指标收集
交易系统的指标包括那些内容？速度流畅、还是内容丰富？这些都是未知。这第一步非常重要，因为这是所有工作的基石。所以需要尽可能全面收集信息，绝不能出现显而易见的遗漏。我们的指标内容收集主要来自：
- 9名内部专家用户访谈
- 用户问卷信息收集（343人次）
- 客户端后台反馈
- 用研已有研究积淀和舆情积淀
访谈时候需要设立一个可以主题，让受访者可以围绕这个主题充分表达出交易系统所包含的内容。
我们的访谈主题是：
- 目前同花顺的交易（含PC和手机）,您认为优缺点各是什么呢？
- 您觉得交易这个模块，未来的规划和发展方向应该是什么？
STEP 2 指标拆分
针对以上两个主题，专家和用户同一角度给出建议（诉求），所得内容，需要做语义拆分。语义拆分是一个集合经验和直觉的过程，当然也有一些方法论可以借鉴，但最重要的还是要做数据的人要熟悉产品和项目，最后出来的结果再反馈给专家把关，基本上都能正确。
根据内容我们将交易系统的评价维度归纳为以下几个大类：
- 性能问题
- 可用性问题
- 功能问题
- 内容方面
图示：部分关键信息归纳（仅示部分）
image
同时，根据内容再细分指标。在一级指标下再分二级指标（15个）：
image
STEP 3 指标定义
对二级指标赋予明确定义。这一步既是对各个细分指标的解释说明，也是为了后一步的指标测量做准备。
image
STEP 4 指标测量
根据上一步明确的指标定义，直接对目标用户实测。15个二级指标都需要真实用户评分，化为15道实测题目，用户在充分理解指标含义之后，作出评分。
题目的格式参考如下：
如：“安全：交易的安全，是指交易和资金安全有保障。——您觉得同花顺手机交易做得如何？”（评分：0-100，非常不满意——非常满意）
通过线上问卷形式实测，回收1434个数据。
STEP 5 指标统计
清理掉失真的数据，得可用数据904个（这里主要是删掉作答时间少于最低测试时间的数据）。主要分析方法：因子分析（二级指标&一级指标； 一级指标&总体满意度）
注意：因为因子分析原理是靠提取少量分子来描述多个原始变量，而我们此处无需削少因子数目，所以在Extract环节提取因子数目应和原始变量数目相同，比如“功能”下面有5个二级指标，提取因子数应是“5”。
各个指标对上一级的权重（贡献力）计算如下：
image
STEP 6 评估模型
经过上述计算，我们可得初步评估模型如下图：
image
从这个系数图谱，我我们可以清晰看到，对交易总体满意度敏感的因素是“功能”，而对“功能”指标影响大是“创新性”和“区分度”。从整理来说，速度、流畅、以及内容方面，的确是目前我们交易系统的短板，也从数据上得到了体现。总结起来，评估模型能直观告诉设计者2个问题：
- 目前的系统优缺点是？ （知道优缺点，能够在产品方向上有的放矢）
- 影响用户满意度最重要的因素是？ （根据权重找出改进的优先点，才能抢占用户口碑）
当然，这只是第一次评估，所有的评估都要有对比才有意义。评估模型还需要继续进行2-3轮的迭代验证，并跟随未来交易系统的功能调整而逐渐调整，它不是一个静态的工具。
网友评论