用研分享 -如何执行一场可用性测试

用户调研分为定量调研、定性调研。在定性调研中,深度访谈、可用性测试是最常见/最常用的方法,也主要用于成长期&成熟期的产品。

小编曾主导过近30场可用性测试,本文主要分享可用性测试过程中的实战经验&如何避坑。


什么是可用性测试?

可用性测试指的是邀请产品的目标/有代表性的真实用户使用线上产品或产品原型,在用户完成典型任务的过程中,对其行为进行观察、纪录、测量及访谈,从而了解用户的真实行为需求、界定出产品的可用性问题并解决问题,以此改善产品的易用性/可用性。


适用的阶段?

设计阶段:在输出原型后,快速验证原型的可用性,并便于选择更优方案;

撕逼阶段:与合作方出现意见分歧时,可通过可用性测试快速求证;

上线阶段:针对线上产品,在通过后台数据等渠道无法清晰定位某个任务流程的痛点后,可采取可用性测试;

竞品分析阶段:在竞品分析阶段,亦可使用可用性测试。选择有竞争力的竞品,并对相同的任务流程进行测试,可获取与竞品体验差异点,并着重优化;


可用性测试的具体流程

1. 需求收集

2. 测试脚本设计

3. 访谈提纲设计(测试前会进行简单的访谈)

4. 用户招募条件设置

5. 用户招募

6. 预测试

7. 测试执行

8. 输出分析报告


一、需求收集

在测试前需要收集测试需求,即确定调研目的,确定目标后才能选取合适的调研方式。

!!划重点

确定了调研方向后,最好召开调研项目的启动会议,会议参与方可包含:产品经理、运营、开发、测试、数据、客服、设计内部同事等。会议目的在于调动大家参与到本次调研中来,会使参与人员更认同调研结果,对后续优化方案的推动上有极大的帮助、会减少很多阻力!


二、测试脚本的设计

测试脚本设计指的是测试任务的设计;在每次可用性测试中,一般会根据调研目标设置3-5个主要任务,测试时间需控制在30-45分钟,时间太长会让用户产生烦躁情绪,得到的反馈结果真实性会降低。

在任务的设计上,一般需要先假设场景,让用户在假设的场景中完成任务。


举个栗子:

随手记福贷产品的可用性测试目标是提升激活进件转化率

测试脚本场景:假设你现在急需3万块,但不想通过银行、朋友等方式,了解到随手记可以贷款,于是下载了随手记.....

任务1:进入随手记后,想申请贷款,通过首页找到贷款入口?

任务2:激活额度


Tips :

错误:假如把表单合并了,你觉得怎么样?

正确:进入信息验证页,完成额度激活申请


三、访谈提纲设计(可省略)

一般来说,可用性测试不需要设计访谈提纲,但考虑到在测试前会与用户进行简单的交流沟通,一方面是让用户快速进入状态、缓解紧张情绪,相当于暖场;另一方面是为了了解用户平时的行为习惯,使用竞品或本产品的态度,对产品的评价等。

举个栗子:

随手记福贷访谈提纲

Tips :

访纲组织维度

用户访谈又是一个大的专题了,且听下回分解~


四、用户招募条件设置

完成测试脚本/访纲后,接下来就是招募条件的制定了;招募条件制定的好坏,直接影响到测试结果的质量。用户的招募主要根据前期的调研目的而定,在这一步关键要考虑面向的用户群,可以和产品经理一起讨论制定。

一般可用性测试只需邀请6名用户,就能发现85%以上的可用性问题;

所以在实践过程中,只要邀请6-8名用户就可以了,超过10名用户后会发现获取的有效信息重复性大,且浪费人力物力财力。

在邀请的过程中,为保证测试结果的真实可靠,需要包含不同周期的用户,一般邀请2名新手用户、3名中间用户、2名专家级用户。

当然,也可根据产品的用户生命周期来邀请

如:2名新手期、3名成长期、1名流失期、1名成熟期

招募条件设置

Tips:

邀请的不同周期用户数量只要符合正太分布即可(如3名新手、4名中间级、1名专家)

邀请的目标用户一定要与调研目的强相关,因为不同调研目的,需要邀请的用户属性不同。


五、用户招募

制定好招募条件后,接下来就要找到我们的目标用户了。

招募主要有几个途径

1. 电话邀约问卷调查中的意向用户

2. 到目标用户有可能出现的的场所做宣传(自行脑补地铁口的信用卡办理),注意一定要标明参与条件及礼品;

3. 通过朋友圈、微信群公开招募

4. 通过后台数据筛选后,电话邀约符合条件的用户

注:必要的时候可以对用户进行二次甄别筛选


举个栗子:

在进行贷款激活进件流程的可用性测试时,我们设置以下几个符合目标用户画像的条件:

贷款招募条件设置

但是,通过后台数据,我们只能筛选出符合前4个条件的用户(第一排)

因此,在进行电话招募时,需要进行二次甄别,即二次确认用户是否满足后4个条件。


!!划重点:

1. 如果通过电话招募形式,拨打电话时间最好是下班后,其次是下午;早上接通电话的概率极低,就算接通了,用户拒绝的概率也极高。

2. 电话招募时,用户的顾虑会很多,大部分担心是不是骗子,所以打消用户的顾虑很重要。

3. 允许的情况下,可先通过短信运营系统给用户发送短信后再拨打电话;

4. 其次是整理电话招募的话术,可参考如下:

电话招募话术


!!防踩坑:

1. 安排好用户时间后,在前一天打电话给用户确认是否能过来,在当天也最好打电话确认,因为需要时间连接设备等。

2. 辨别高质量的用户:很多只是为了薅羊毛。在邀请之前,需要和用户作简单的了解

3. 一定要邀请目标用户!一定要邀请目标用户!一定要邀请目标用户!(认真脸)

4. 招募完用户,安排好测试时间后,记得要将安排表同步给各个参与方,并登记好每个受访用户的基本情况,方便参与方事先对用户有大体的了解。


六、预测试

预测试是按照测试用例完整地走一遍测试流程,可以邀请身边的同事参加;预测试可以帮助提前发现测试用例、访纲、或者是测试机等的问题,以便及时进行调整,以免偏离可用性测试目标,获取的信息价值不高。

一般预测试至少可以发现60%~70%的问题,所以千万不能为了赶时间而放弃预测试。


!!划重点:

预测试时间至少安排在正式测试前2天,这时候发现问题还来得及调整


七、测试执行

在测试开始前一天,通过电话提醒下用户。如果在测试开始后15分钟,用户还没到,再打电话确认是否能到场。

一般进行可用性测试需要配备专业的可用性测试观察室,如下图。相关同事可以通过单向玻璃观察用户的操作、表现。

但是租用一间可用性测试室费用较高,对于预算紧缺的部门来说,成本就太高了。因此,可以考虑低成本的方式:

你需要准备以下设备:

1部iPad+笔记本连接视频通话:目的是观察测试室里发生的一切

2部手机连接语音通话:视频通话的音质较差,所以另外采用了语音通话

1台摄像DV

1台手机录音

投屏软件测试&连接(推荐使用Apower,购买vip后,可以实现录屏的同时进行投屏,方便观察室的同事看到用户在测试机上的操作)

2台笔记本电脑:一台用于记录,一台用于看测试用例等

IOS / 安卓测试机各一部,根据用户使用的机型选择测试机

访谈室&观察室

(为保护用户隐私,图片打码处理)


测试室人员配置:

1名受访用户、1名主访人、1名记录员、1名观察员。

(观察室的人员数量则随意,人数越多,说明对用研的认可度越高)


一切准备就绪,就开始测试吧

注:如果是上线前的原型方案测试,则需要准备测试demo,可以采用纸面原型方式,推荐app:POP、快现


以下提供一份开场白模板:

开场白模板

!!划重点

1. 一定要描述清楚任务的背景,用户才能代入情感和情境当中,才能更好模拟实际使用场景。以免用户只是随便走走流程,感觉就像随便来测试下。

 2. 以场景描述为主,避免直接让用户去做什么操作。旨在避免用户机械性地完成任务,机械地薅羊毛。

3. 访谈前,先闲聊:聊聊工作、过来公司的交通工具、我们是通过什么方式找到她的........

4. 慢慢切入主题:这次访谈的目的。一定要明确告诉用户,这是在测试产品而不是他自己。

5. 告知用户现场会进行录像,目的在于为了后续的调研分析,如果他想要的话,也可以发一份给他。有必要的话,可以签署《保密协议》(但略麻烦,需要公司公章)

6. 有些用户很反感要录像,这种情况避免不了,只能当场关掉摄像,但是要记得打开手机录音

7. 及评价、是否曾经遇到过什么问题,当时是怎么解决的?是否已经得到解决?是否满意这种解决方式?

8. 测试进行时,观察用户操作。提醒用户可以边操作边说出想法;注意用户在页面上的停留、疑惑;在测试完成后,询问用户刚是在思考什么?

9. 对于用户提出的问题,不用马上回答,看用户在没有其他人在场的情况下,会怎么处理?

10. 不要打断用户的回答,让用户先说完。记住有疑问的地方,先顺着用户的回答先挖掘用户的目的。后面再补充提问有疑问的点。

11. 如果涉及到给用户看新的设计方案时,不是让用户直接选自己喜欢的设计稿就行,一定要问为什么这么选择、好在哪里。


测试完成后,为客观评估测试任务的可用性问题严重性,需要填写SUS量表

SUS 量表,即情景后问卷,量表一般由 10 道题组成,包括奇数项的正面阐述,也包括偶数项的反面阐述,要求被测者在使用产品后对每个题目进行打分,满分 5 分。

SUS 的优势在于小样本量都能得出较为准确的结果。

SUS 量表如下:

SUS 量表

拿到用户的打分后,需要进行SUS分数的转换。

计算公式如下:

SUS分值=(Q1-1)+(5-Q2)+(Q3-1)+(5-Q4)+(Q5-1)+(5-Q6)+(Q7-1)+(5-Q8)+(Q9-1)+(5-Q10)

由于是 5 点量表,每个题目的得分范围是 0-4,SUS 的范围是 0-100,故需要将每个题目得分相加后再乘以 2.5,即可获得 SUS 的最终分数。


举个栗子:

用户的打分举例

那用户1的SUS得分=(4-1 + 5-3 + 4-1 + 5-2 + 2-1 + 5-4 + 4-1 + 5-2 +3-1 + 5-1)*2.5=62.5

最后通过所有用户的SUS得分平均值,判断可用性问题的严重性;

由于SUS 的平均分数为 68 分,50 以下是不可接受的,70 分以上是可以接受的。


八、输出分析报告

完成测试后,需要整理测试结果,输出测试报告,在内部进行现场汇报,并抄送相关同事及领导。


总结

可用性测试是让设计师变被动为主动的有力工具,可以在一定程度上提升设计师话语权,希望大家都能有效利用起来

一定要预测试、预测试、预测试!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容

  • 可用性测试是我认为最有效并且有说服力的一种调研方法,其实在工作中很少会有机会做完整的可用性测试,这可能跟你公司的重...
    Chxs阅读 2,213评论 0 3
  • 前言 学习的时间不短了,案例也分享了许多, 所以~~我打算自己做一次可用性测试了: 本次可用性测试的目标为‘到位’...
    IvanMu阅读 7,128评论 9 43
  • 可用性工程阅读笔记 Nielsen 看这本书和写下这些笔记总共用了快两个星期的时间,这段时间事情真的有点多。。 从...
    Witty_28阅读 1,929评论 1 12
  • 数据来源:互联网整理 一.可用性测试介绍 1.可用性测试的定义 可用性测试(Usability testing),...
    jojo鱼啊阅读 11,490评论 5 23
  • 1. 前言: 这篇文章是个人对当前可用性测试中常用标准化量表的学习和整理。整体架构参照Sauro and Lewi...
    IvanMu阅读 28,687评论 6 69