原文地址:The 7 Deadky Sins of User Research
原文作者:David Travis
译文作者:janepi
现在经常有人把产品的可用性差归咎于公司没有做足够的用户研究。从表面上看,这好像很明显就是可用性差的原因。如果公司只做研究,他们会发现他们的产品根本无用。但是,就像所有显而易见的原因一样,这条也是错的。
实际上,现在是推销用研工具的极好时机。每个公司似乎都想好好了解他们的客户。看看你上个月的垃圾邮箱里躺了多少要你去填写的调查问卷。如果是我的话,大概是两位数。
这不是用户研究量的问题,而是质的问题。
公司们正努力想要分清好和坏的用户研究。
以下是我在和客户工作时遇到的7种失败的用研做法。
- 轻信
- 武断
- 偏见
- 蒙昧
- 懒惰
- 模糊
- 傲慢
轻信
字典里面把轻信定义为在没有合适证据的时候去相信事物的一种倾向性。在用户研究中,也就是直接去询问用户他们想要什么(并且相信他们的回答)。
几个月前我代表一个客户去参加了一个可用性研究。我会去那儿是因为客户认为他们做的可用性测试产生不了什么价值。客户担心他们并没有招募到正确的用户或者分析不对。
当我坐在观察室里,我看到主持人给用户看一个用户界面的三种不同设计,然后问道:“你喜欢三种里面的哪种?为什么?”
直接能问到人们想要什么多么吸引人,因为这从表面上看起来非常有效,而且看似挺说得通的。
但这其实是错的。
我来告诉你为什么。大约40年前,心理学家Richard Nisbett和Timothy Wilson在Michigan的Ann Arbor的一个商店外做了一些实验。
商店外放了张桌子,上面有个牌子写着“客户评估问卷——哪家质量最好?”桌子上放了四双女士丝袜,从左至右标了A,B,C和D。
结果是选D的人最多(40%),选A的人最少(12%)。
从表面来看,这就像那次我观察的可用性测试一样。
但是事情发生了转折,所有的袜子其实是完全一样的。大部分人选D的原因其实是受袜子的摆放位置的影响:研究员明白人们对于展示中右侧的物品有特别的好感。
但是当研究员们问人们他们为什么喜欢那些袜子时,没有人指出是受位置影响的。人们会说,他们喜欢的袜子有更高质的纤维,或袜子更透明或更富弹性。研究员甚至有问他们是否有受摆放顺序的影响,但是当然人们会认为研究员这么问不可理喻。但是,人们会虚构:他们为他们的选择编造了貌似可信的理由。
Nisbett及Wilson的实验与我观察到的可用性测试有一个不可见的关联。我称此关联“不可见”是因为很少有研究员发现这点——尽管心理学有一条分支前景理论(Prospect Theory)对此有重大贡献——而且Daniel Kahneman因为发现这一效应获得了诺贝尔奖。
人们对于他们的心理过程根本不了解,所以直接问他们想要什么其实毫无意义。
实际上,这就有点像是搏击俱乐部,挖掘人们所想需要遵循的第一条规则:那就是别问他们想要什么。
我认为引用Rob Fitzpatrick(The Mom Test的作者)说的一段话在此非常合适:
想从客户对话中学习就像挖掘一处精致的考古遗址。真相总是存在于某处,但却是脆弱不堪的。当你每挖一下,你就越接近真相,如果你使用的工具太钝,你就很有可能会将真相打得支离破碎。
那我们应该如何解决这个问题呢?我认为成功的用户调研,应该能够得到可行且可验证的用户需求。问人们的喜恶,让他们预测未来他们可能会做什么,或让他们告诉我们其他人可能做什么,这些都是没有意义的。
得到可行可验证观点的最佳办法不是去问,而是去观察。你的目的应该是长时间观察事物从而能够对于现状做出合理猜测。过于直接的问题会让人们虚构一些答案,或者告诉你的不是现在真正发生的。
观察有两种方式。我们现在可以观察到用户是如何解决问题的。或者我们可以让用户身处一个假象的情况,让他们使用我们的解决方案(原型),然后观察哪里出现了问题。
关键点是:说不如做有用,因为人们本来就不是可信的目击者。
武断
武断就是倾向于将原理认为是不可否认的真相,忽略了证据或他人的意见。
我敢肯定我们都有和这样的人同事过,他们认为问卷调查才是了解用户需求的正确方式。也许因为我们每天都在新闻里听到各种问卷调查,人们就容易认为他们非常可靠有用。而用其他的代替方法,例如实地考察或客户访谈,则不如问卷从表面上看那么有用,因为样本量相对来说比较小。
但是遗憾的是,如果你问的问题不对,即使回收到大量的回答也无济于事。这就是为什么要做实地考察或客户访谈。
实地考察和客户访谈可以帮助你很好地了解用户需求、目标和行为。但他们也不是唯一的解决办法。
最近我有一个用研同事认为除了客户访谈,其他的研究办法没有立足之地了。如果要验证你的用户画像:那就访谈更多人吧。如果要发现优先级最高的任务:那就访谈更多人吧。如果要比较两类着陆页的效果:那就访谈更多人吧。
这种武断是完全无用的。
实地考察和客户访谈能带来的是方向,而不是确切的答案。得到的会是非常宽泛的信息,就像天气预报一样。可能数据中能发现一些模式,但是这远不如你和用户去对话并且观察他们做什么有用。那些对话能帮助你发现他们所说所做的不同之处——而这通常就是绝佳的设计契机。
但是也有时候需要你通过三角互证研究方法来同时使用实地考察和客户访谈,以此来验证你的发现:也就是针对同一现象采取不同的方法相结合。
定量数据可以告诉我们人们在做什么。定性数据可以告诉我们人们为什么那么做。最佳的调研方式是结合这两种数据。
举个例子,你可能想要问卷调查去验证你实地考察得到的用户画像。或者你想通过多变量的A/B测试去微调你用可用性测试已修正的着陆页。
三角互证研究方法就像是电影中的不同视角。如果每一帧都是一个特写的话,你就没法了解到电影的全局发展。类似地,如果每个画面都是广角的话,你也很难去了解到每个具体的故事。就像电影一样,你需要你的研究既能看到局部同时也能看到全局。
偏见
偏见就是指左右人们的思想,尤其用一种不太公平的方式。
用户研究是一场反对偏见的持续斗争。有许多不同种影响用户研究的偏见,但是在这我想讨论的是回答偏见。这和你收集数据的方式有关。
有时偏见看着挺明显的。例如,你问一些不太好的问题,就有可能让参与者告诉你你想听到的答案。你完全可以通过让人们去问正确的问题而消除这种偏见。但是有一种更难消除且更加有害的回答偏见。
当设计团队去做研究,然后发现人们对产品或服务没有什么需求时,这类偏见经常发生。他们会想要对高级经理隐瞒这个事实,因为没有人想成为不好消息的传播者。
但是人们对你的产品没有需求,那就没必要去说服高级经理其实有需求——最终你肯定会被发现的。挑些好结果去支持上级人物想听到的内容非常不好。
你不应该带着既定利益去做访谈:用户研究的工作不是去说服人们去使用某项服务,或者去得到领导层想得到的内容;而是去挖掘真相。
这不代表你就没有立场了。你是有的。你的立场就是帮助设计团队去理解数据,而不是告诉他们他们想听到的内容。
蒙昧
蒙昧就是指故意不公布全部细节让人知晓。在用户研究中这宗罪的常见形式就是只让一个人知道所有的发现。
用户研究通常就是指定团队中的一个人去做。然后这个人作为用户需求的发言人,整个团队的用户专家。
这样做调研是不好的,不仅是因为用户研究员不知道所有的回答。还因为这会鼓励设计团队把所有关于了解用户的责任委托在一个人身上。
Caroline Jarrett曾经在她的一条推特里将此说得很清楚。
用户研究员的常见错误:“我的职责是去了解用户。”真相是:“我的职责是帮助我的团队了解用户。” #ux
—Caroline Jarrett (@cjforms) July 4, 2014
在你自己的项目中避免此宗罪的一个方法,是去鼓励团队的每个人都去获得一些“曝光时间(exposure hours)”。这个概念是Jared Spool引出的。他的研究表明最有效的设计团队会在每六周花至少两个小时观察用户(例如,实地考察或者可用性测试)。
在此你的目标就是去建立一个以用户为中心的文化。你应该鼓励整个设计团队去和用户互动。但是你也需要去迭代设计。这引出了我要提到的下一宗罪。
懒惰
懒惰就是指不愿意去耗费自己的精力做事了。在用户研究中这常体现为不断使用原来的老研究数据,好像这些数据可以在新项目中不断被剪切粘贴一样。
在这方面我最喜欢举的例子就是用户画像的世界。
我发现我的客户经常把做用户画像当成是一劳永逸的事情。他们会雇佣一个外包公司去对一定数量的用户进行实地考察。这个公司会分析数据然后做出一系列展示精美的用户画像。现在我们已经知道这不是一个好方法因为这犯了蒙昧罪。我们是想要设计团队去做研究,而不是外包公司。
但是我们此时忽略了一个问题。我在这里用用户画像作为例子是因为我经常被客户问到他们是否可以重用之前的用户画像。他们现正着手于一个新项目,和他们去年有做过用户画像的那个项目有一定的相似之处。因为他们的客户基本上是一致的,难道不可以复用已经存在的用户画像吗?
这种想法根本没有领会到用户研究的精髓,所以是个非常好的例子。
这儿有一个很多人都不知道的秘密:你其实不用去做一些用户为中心的用户画像。用户为中心不是去做用户画像。事实上,用户画像不重要。做用户画像从来不应该是你的目标——了解用户需求、目标和动机才应该是你的目标。很多时候,制作漂亮的用户画像只能证明你和用户接触过,就像一张你在餐厅遇到名人的自拍照一样。
你应该推动的是让设计团队了解用户所以用户画像也就不需要了。你不用去用历史的研究。而是把用户研究融入你们的文化中。
我们已经知道很长时间以来,你都是通过迭代来达到以用户为中心的设计的:你会做一些东西出来,去测测它的可用性,从中学习然后重新设计。用一些陈旧的数据,不管是不是以用户画像、可用性测试还是实地考察的形式出现,都不算是迭代——这也肯定不是在学习。
模糊
模糊是指表意或陈述不清楚或不具体。在用户研究中,我经常看到团队无法聚焦于一个关键的研究问题上,而是想要一次性得到许多解答。
这宗罪一部分也是由于懒惰造成的。如果你只是偶尔做研究,你需要去回答很多很多问题。也就是说你最后其实只了解到一小部分而已。事实上,你可以通过洗碗机了解到用户研究中非常重要的一课。如果你一次性塞很多脏碗进去,几乎没有碗最后能洗得很干净。
在用户研究中,你可以针对一小部分去了解很多内容。那些非常具体的“小”问题都可以让你寝食难安。而为了去回答这些问题,我要求设计团队去想可能的最有效、最可行的研究结果。它们到底想告诉我们什么?我们要怎么利用它们?
团队中的每个人都应该同意你想去解决的问题和想验证的假设。最主要的问题能推动每次的研究。
这就意味着你需要将你的研究问题细化:你应该能够把这些研究问题分解到很多小便利贴上去。
事实上,这让我想到一个可以让你发现关键问题的方法。
邀请设计团队到一个房间。给每个人一些便利贴。告诉他们我们有一个什么都知道、特别有想法的用户就在门外,可以真诚地回答我们抛出去的所有问题。
那你会想问什么?
我让团队在每张便利贴上写下一个问题。5分钟以后,我们以团队形式去根据亲密度来划分便利贴。然后我们在不同组的问题上贴上点,投出我们最急切想知道答案的问题。这种方法非常奏效,因为我们不仅能发现优先级最高的主题,还能得到一系列我们想要知道答案的具体问题。
傲慢
最后提到的仍然很重要的一个,是傲慢。傲慢是指过于骄傲或自信。
在用户研究中,你的报告中就可以体现出这种过分的骄傲。所有用户研究员都或多或少有那么一点,尤其是那些有博士学位的。我会提到这个就是因为我认识一个博士就是这样的。
用户研究员们都酷爱数据。而当你喜欢什么的时候,你就想要分享给别人什么。所以你做了一份特别详细图文并茂的报告,里面含各种图形、引用、截图和编号。快看看我得到的数据啊!看他们多美!
可惜的是,很少有人像我们一样对数据那么痴迷。我们的一大挑战就是讲这些数据转变为信息,然后把信息转变为见解。
过于详细的细节有两个问题。
-
人们是不读报告的。他们翻页,看到很多数据,欣赏你很聪明,然后就感觉无聊了,然后就一直是这个状态。
-
过于详细的报告会延缓设计进程。你不用为了找到一些关键问题而在Morae或Excel中去做过度分析。那种分析在之后你要去深入细节的时候会有用,但是得到一些关键发现才是当务之急。所以设计要被修正,“做-测-学”的循环才能继续。
但是,你需要去做一些信息辐射体(例如可用性看板和1页测试计划)来让团队了解数据,从而他们能做出一些行动。信息辐射体基本上就是一个能让团队慢慢意识到你结果的广告板。一般来说,如果人们要去翻页的话,那你的报告就太长了。所以问问你自己:我们到底能不能一眼就把所有结果都瞥见?
这就是需要将研究结果以一种非常精细的可视化形式呈现,就像用户路径地图、用户画像或可用性测试结果看板一样。
好的用户研究应该是怎样的?
我回顾这几宗罪的时候,你可能注意到它们都有一个共同的起因:根本原因就是公司文化不能区分好研究和坏研究。
公司常说他们很看重好设计。但是他们认为如果要做好设计应该要由摇滚明星般的设计师来做。
但是好设计并不是从设计师来的。好的设计是从你用户的头脑中来的。你通过用户研究深入你用户的头脑:然后研究给出可行可验证的关于用户需求的结论。
好设计是有同理心的。而且是对以用户为中心文化的一种同理心。
坏的设计其实也是有同理心的。但是那是对于无法区分好坏用户研究的公司的一种同理心。
也许这些就是所有最致命的几宗罪吧。
本文为原创译文,转载请注明出处,谢谢
网友评论