幻想着用简单的招数打遍所有复杂的情况是不切实际的。
如前篇《在用研之前,你需要知道的那些事!》所言,对“新产品”和“成熟产品”的调研目的一般是不同的。怎么说的来着?下面把关键点提取出来:
新产品
针对新产品的调查主要是为了验证新产品的想法是否靠谱,更进一步,需求的满足是否合适。如果是定量调研的话,最好能够收集一些真实的用户反馈数据。成熟产品
针对新产品的调查主要是为了新的功能点是否得到了用户的认可,如果有必要的话我们可以怎样进行优化设计。
所以呢,这两种情况下的调查问卷的设计自然就是不同的。新产品的调查问卷相对来说更具发散性,而成熟产品的调查问卷则更具有针对性。也正因如此,一份标准的统计信度高的调查问卷对于成熟产品来说则成为了一种可能性。
下面我们分别进行说明,并在文末给出标准问卷的模板和SUS(系统可用性量表)供大家领取使用。
一、针对“新产品”的问卷设计
我们都知道,问卷调查法可以作为用户研究的重要的一种方式。而用户研究简单来说就是通过和用户直接或间接交流来知道用户在想什么、想要什么、行为动机是什么等。
不过与用户访谈不同的是,研究者通常是无法在问卷期间和用户产生互动行为的。那意味着什么呢?意味着这种被调查者单项输出的行为是具有极高风险的,于是这就为调研结果的统计信度带来了影响。要知道这可就触碰了我们的底线,是可忍孰不可忍,叔可忍婶也不能忍。
自然而然的,我们得在问题的设计上下功夫!
表明来意
来,把之前的金句来出来再背一遍“但凡调研,必有目的!”。但是这个目的我们不能只自己烂熟于心,除了和小伙伴们交流,还要在合适的时间用合适的方式告诉你的调研用户,只有它知道你想干什么才能更好地配合你。
什么叫合适呢?
如果是线下的问卷调查,那么你在用户开始填写问卷之前先和大家说清楚这份问卷是关于什么的、是用来做什么的、共有多少道题、答题时有什么需要注意等就是合适的。而如果是线上调查问卷,那么你把这些关键点标红加粗放到问卷开头,并且要想办法降低用户的学习成本则是合适的。
那么毫无疑问的是,我们制作的调研问卷也应该紧紧围绕“我要调研什么”、“我要从哪些方面调研”这些重点,所设计的问题也都必须是围绕调查目的最必要的题目,可要可不要的题目就等同于可以放弃掉的题目。
问题具有带入感
当用户面对抽象的问题时通常是手足无措的,当他们不知道针对该问题如何回答时,那么最有可能的一个选择就是放弃作答。于是,问题的设计最好具象并具有代入感。这样就帮助答题者更好地理解问题,并尽可能给出更准确的答案。
例如,某商场想要了解顾客大多使用什么品牌的牙膏,那么在询问这一问题时,应该如何设问呢?
-
错误示例:请问您使用什么牌子的牙膏呢?
-
正确示例:请问您最近三个月使用什么牌子的牙膏呢?
很明显,正确示例通过时间的限定使得模糊的信息变得更清楚,当然你也可以根据不同的产品设定不同的限制条件。
另外一点需要注意的是,在问卷设计中一定要避免专业术语。不过这一点有时比错别字更难修改,错别字错了就是错了,但是一些常用的术语你自己都已经习以为常了,根本不觉得是什么术语。这个时候可以请朋友或者家人来帮忙,他们对你的工作不熟悉,有时一眼就能发现。
内容要严谨
何谓严谨?我们可以这么理解:一份问卷无外乎由两个部分组成,一部分是问题,一部分是选项。那么所谓的严谨就是指问题要明确无歧义,选项要互斥且包含全部可能性。
-
错误示例一:对于XXX牌牙膏的包装与味道,您是否喜欢呢?
-
错误示例二:使用XXX牙膏后,你的XXX问题是否得到了改善? A:没有 B:改善了
这里示例一的错误在于一次询问了被调查者两个问题,所以无论被调查者给出的答案是“是”还是“否”,你都无法判断这是对包装还是味道的肯定还是否定。
而示例二的错误在于,被调查者可能没有使用过XXX牙膏,这样就无法做出回答,所以应该再加一个:“没有使用过XXX牙膏”的选项。
不要引导
- 错误示例:大家都觉得XXX牙膏很好,你觉得呢?
注意,我们撰写的是一份调查问卷,是想通过一个个“面无表情”的问题得到用户更真实的答案。而不是撰写一份销售传单把产品卖出去,更不需要教育用户。
如果你这样做了,那么很容易引起从众心理效应。可能本来被调查者并不喜欢XXX牙膏,但是看到题目里“大家都觉得XXX牙膏很好”,就很有可能会选择和大家一致的观点。
类似的错误还包括权威效应,即有权威和地位的人所说的话、所做的事更会引起他人重视,这部分的观点在问题中呈现时也会对被调查者产生错误引导。总之,一切具有暗示性的表达,都不应该出现在你的问卷里。
整体结构
核心问题设计完成后,我们需要完善问卷的主题结构。当然这个是可以更具实际情况进行裁剪的,下面给出相对完整的框架:
-
开头部分
问卷标题、问候语、问卷编号(可以是系统自动生成的)以及问卷填写说明。目的是让用户第一时间了解本问卷的主题是什么,另外通过填写说明减小用户填写中存在的少部分低级错误。问卷编号用于标识每份问卷的独特性,便于后期问卷定位和筛选。 -
筛选部分
将不符合本问卷调查的对象筛选出去,提高问卷调查效率,最终确保问卷分析结果的有效性。 -
主体部分
整个问卷调查内容的核心所在。 -
背景部分
用户性别、年龄、职业等基本信息,背景部分价值体现在对用户类型的分层分析,假设对于同一个需求,不同类型的用户表现是否存在差异。
至此,针对“新产品”的调查问卷的设计就结束了。我们能够发现这类问卷更加发散和定性,我们下面看看定量问卷如何设计。
二、针对“成熟产品”的问卷设计
“成熟产品”更适合使用标准化问卷,原因我们开头说过。那么什么是标准问卷呢?
标准化问卷是对特定问题使用特定的格式按照特定的顺序呈现的可重复使用问卷,对于用户的回答也有特定的计算方法和规则,可以科学地量化用户体验。简单而言,标准化问卷是对某一特定问题的重复使用问卷,其数据结果更方便相关方有效沟通。
常见的标准化可用性问卷有整体评估问卷、任务评估问卷和网站感知可用性评估问卷。下面给大家做一个展示:
整体评估问卷
用于完成一系列任务场景后,对产品或系统整体的感知可用性测量。目前使用较广泛的有:QUIS(Questionnaire For User Interaction Satisfaction)、SUMI(Software Usability Measurement Inventory)、PSSUQ(Post-Study System Usability Questionnaire)、CSUQ(Computer System questionnaire)、SUS(System Usability Scale)。任务评估问卷
每完成一个场景任务,让用户对该任务进行感知可用性测量。目前使用较广泛的有:ASQ(After-Scenario Questionnaire)、SEQ(Single Ease Question)、SMEQ(Subjective Mental Effort Questionnaire)、ER(Expectation Ratings)、UME(Usability Magnitude Estimation)。网站感知可用性评估问卷
在网络开始流行时,出现了更有针对性的评估网站感知可用性的问卷。目前广泛使用的有:WAMMI(Website Analysis and Measurement Inventory)、SUPRQ(Standardized Universal Percentile Rank Questionnaire)。
对于以上的各种问卷想做深入了解的朋友可以自行查找,我们本篇只拿SUS来和大家说说。
为什么是它呢?我们知道用户体验是近几年大热的概念,可用性的概念也随着互联网的发展变得众所周知。而SUS (系统可用性问卷)正是针对系统可用性进行整体评估的问卷。而且它有很多优点:1、相关介绍多 2、题少(只有10道) 3、免费!!!特别是免费这一点,当初看见它免费的时候多少人眼睛都湿润了!(要知道,有些收费的费用都不低!)
【感动】
SUS初相识
SUS最初是Brooke于1986年编制的,量表由10个题目组成,包括奇数项的正面陈述和偶数项的反面陈述,要求参与者在使用系统或产品后对每个题目进行5点评分。样例如下:
什么?看不懂?翻译一下:
你可能觉得这个太固定了,不过没关系!在使用SUS的过程中,我们可以对题目的词语进行替换,这些替换对最后的测量结果都是没有影响的。比如“系统”可替换成网站、产品或者自己产品的名称等。
SUS用在哪?
这么三种情况是最常用的:
- 同一产品或系统,新旧迭代版本的对比。比如:某App首页改版后,新旧首页的对比。
- 同一产品或系统,不同终端之间的对比。比如:某产品的PC端、App端进行比较。
- 同类型竞品之间的比较。比如:苏宁,京东,当当三款App使用后进行比较。
而且我们能发现整个量表题目陈述简单,只需参与者打分,实施起来很快。另外,测量结果是介于0-100之间的分数,容易理解。
据说多个实证研究表明SUS效果相当不错。比如有个叫Tullis的高手曾做过研究,结果表明在样本量有限的情况下,SUS可以最快达到效果(就像上图表现的那样,虽然我也没太弄明白啥意思...)。另外也有大样本的研究得出SUS的信度系数为0.91,不得不说,对于通常情况下的问卷调研,这是个值得信赖的表。
SUS如何使用?
-
计分
当参与者做完一系列任务后,就可以快速对SUS进行打分。然后就需要对每个题目的分值进行转换,规则如下:
奇数项计分采用“原始得分-1”,偶数项计分采用“5-原始得分”。由于是5点量表,每个题目的得分范围记为04(最大值为40),而SUS的范围在0100,所以需要把所有项的转换分相加,最终再乘以2.5,即可获得SUS分数。
除了获得SUS量表总分之外,还可以获得分量表得分。在SUS中,第4和第10项构成的子量表为“易学性”(Learnability),其他8项构成的子量表为“可用性”(Usability)。
为了使易学性和可用性分数能够与整体SUS分数兼容(范围也是0~100),需要对原始分数进行转换,规则如下:
易学性量表转换分数的总和乘以12.5,可用性量表乘以3.125。
Tips:因为SUS记分时是用的04个距离,为了让总分是100,所以计算SUS总分时要乘以2.5。但是可用性的题目为8个,总分值在032,所以应该是计算出8道题的总分,然后乘以100/32。易学性的计分类推即可。
-
解释
SUS分数反应的是总体可用性,同时也包括两个分量表的特性。对于总体可用性,在下图中可以直观地查看并解释SUS分数的意义:
除此之外,也可以将SUS分数换算成百分等级来解释。
百分等级是什么意思呢?就是指被测量的产品或系统相对于总数据库里其他产品或系统的可用性程度,可以简单理解为排名。比如SUS得分是73分,其百分等级大约为67,意味着比大约66%的产品可用性更好。
这给我们的一个提示是什么呢?就是从企业研究团队的角度来看,如果可以沉淀以往的研究并建立企业自己产品或系统的SUS数据库,从而获得自身的基准数据,这是最好不过的。当然,这个基准数据也有可能是内部团队制定。
问卷如何投放?
首先我们要知道投放问卷三要素:时间(投放时间范围)、地点(投放渠道)、人物(针对哪些用户进行投放)。投放渠道常见于这两种:消息推送和app活动页。
渠道1:消息推送
-
短信
优点:可实现问卷的精准推送
缺点:成本高、无法获知短信反馈数据 -
EDM邮件
优点:可实现问卷的精准推送,成本较低,能了解邮件的打开率、点击率、送达率等邮件反馈数据
缺点:使用邮件设备的局限性(PC偏多,手机偏少) -
微信公众号
优点:成本低、可实现全范围的推送
缺点:有一定的局限性(局限于微信公众号内的粉丝) -
APP消息推送
优点:成本低、可实现全面推送或精准推送、提高app用户活跃度
缺点:增加app卸载率、受限于移动设备的消息通知功能
渠道2:APP活动页
问卷内置在APP里,其实质为活动页,那么活动页的展示可以很多样。比如APP启动页、首页活动轮播图、活动页列表等。相对于消息推送,APP问卷活动页属于被动调查,主动权在用户。
缺点:用户参与度较低、未能实现精准用户调查
优点:问卷有效性比较高
为什么说问卷的有效性比较高?可以这么理解,因为主动权掌握在用户手里,那么凡是填写了反馈问卷的,都是乐于反馈的,问卷结果的真实性自然得到保障!
不用多说,这样的渠道价值更高!就是参与度低了点。如何提高参与度呢?需要做强有力的吸引和鼓励!
如何吸引用户填写问卷?
赠送积分或优惠券
为了吸引、鼓励用户来填写完成问卷,一般会给予用户积分或者优惠券,从而提高问卷调查量。但是这种形式的前提是APP存在积分或优惠体系,另外是要问卷完成后需要知晓用户id,确保积分或优惠券能准确送达对应用户id中。
抽奖
线上直接抽奖:用户完成问卷后,直接在线抽奖并公布抽奖结果,这种抽奖形式及时性强。
线上参与,线下抽奖:用户完成问卷后,企业根据用户问卷内容是否准确、是否认真,进行定向发放奖品,这有利于提高整体问卷质量。
如果你担心这么做对问卷的可靠性忽悠影响,那么可以在用户填写问卷之前先说明:系统会只能计算你答案的真实性。你填写的越认真,中奖的概率越高。
最后,为了方便计分,我编制了一个SUS计分器,包含了均值、方差在内的各种自动统计。如果有需要,可在我个人微信公众号回复 默宝 获取。
网友评论