用户调研分为定量调研、定性调研。在定性调研中,深度访谈、可用性测试是最常见/最常用的方法,也主要用于成长期&成熟期的产品。
小编曾主导过近30场可用性测试,本文主要分享可用性测试过程中的实战经验&如何避坑。
什么是可用性测试?
可用性测试指的是邀请产品的目标/有代表性的真实用户使用线上产品或产品原型,在用户完成典型任务的过程中,对其行为进行观察、纪录、测量及访谈,从而了解用户的真实行为需求、界定出产品的可用性问题并解决问题,以此改善产品的易用性/可用性。
适用的阶段?
设计阶段:在输出原型后,快速验证原型的可用性,并便于选择更优方案;
撕逼阶段:与合作方出现意见分歧时,可通过可用性测试快速求证;
上线阶段:针对线上产品,在通过后台数据等渠道无法清晰定位某个任务流程的痛点后,可采取可用性测试;
竞品分析阶段:在竞品分析阶段,亦可使用可用性测试。选择有竞争力的竞品,并对相同的任务流程进行测试,可获取与竞品体验差异点,并着重优化;
可用性测试的具体流程
1. 需求收集
2. 测试脚本设计
3. 访谈提纲设计(测试前会进行简单的访谈)
4. 用户招募条件设置
5. 用户招募
6. 预测试
7. 测试执行
8. 输出分析报告
一、需求收集
在测试前需要收集测试需求,即确定调研目的,确定目标后才能选取合适的调研方式。
!!划重点
确定了调研方向后,最好召开调研项目的启动会议,会议参与方可包含:产品经理、运营、开发、测试、数据、客服、设计内部同事等。会议目的在于调动大家参与到本次调研中来,会使参与人员更认同调研结果,对后续优化方案的推动上有极大的帮助、会减少很多阻力!
二、测试脚本的设计
测试脚本设计指的是测试任务的设计;在每次可用性测试中,一般会根据调研目标设置3-5个主要任务,测试时间需控制在30-45分钟,时间太长会让用户产生烦躁情绪,得到的反馈结果真实性会降低。
在任务的设计上,一般需要先假设场景,让用户在假设的场景中完成任务。
举个栗子:
随手记福贷产品的可用性测试目标是提升激活进件转化率
测试脚本场景:假设你现在急需3万块,但不想通过银行、朋友等方式,了解到随手记可以贷款,于是下载了随手记.....
任务1:进入随手记后,想申请贷款,通过首页找到贷款入口?
任务2:激活额度
Tips :
错误:假如把表单合并了,你觉得怎么样?
正确:进入信息验证页,完成额度激活申请
三、访谈提纲设计(可省略)
一般来说,可用性测试不需要设计访谈提纲,但考虑到在测试前会与用户进行简单的交流沟通,一方面是让用户快速进入状态、缓解紧张情绪,相当于暖场;另一方面是为了了解用户平时的行为习惯,使用竞品或本产品的态度,对产品的评价等。
举个栗子:
Tips :
用户访谈又是一个大的专题了,且听下回分解~
四、用户招募条件设置
完成测试脚本/访纲后,接下来就是招募条件的制定了;招募条件制定的好坏,直接影响到测试结果的质量。用户的招募主要根据前期的调研目的而定,在这一步关键要考虑面向的用户群,可以和产品经理一起讨论制定。
一般可用性测试只需邀请6名用户,就能发现85%以上的可用性问题;
所以在实践过程中,只要邀请6-8名用户就可以了,超过10名用户后会发现获取的有效信息重复性大,且浪费人力物力财力。
在邀请的过程中,为保证测试结果的真实可靠,需要包含不同周期的用户,一般邀请2名新手用户、3名中间用户、2名专家级用户。
当然,也可根据产品的用户生命周期来邀请
如:2名新手期、3名成长期、1名流失期、1名成熟期
Tips:
邀请的不同周期用户数量只要符合正太分布即可(如3名新手、4名中间级、1名专家)
邀请的目标用户一定要与调研目的强相关,因为不同调研目的,需要邀请的用户属性不同。
五、用户招募
制定好招募条件后,接下来就要找到我们的目标用户了。
招募主要有几个途径:
1. 电话邀约问卷调查中的意向用户
2. 到目标用户有可能出现的的场所做宣传(自行脑补地铁口的信用卡办理),注意一定要标明参与条件及礼品;
3. 通过朋友圈、微信群公开招募
4. 通过后台数据筛选后,电话邀约符合条件的用户
注:必要的时候可以对用户进行二次甄别筛选。
举个栗子:
在进行贷款激活进件流程的可用性测试时,我们设置以下几个符合目标用户画像的条件:
但是,通过后台数据,我们只能筛选出符合前4个条件的用户(第一排)
因此,在进行电话招募时,需要进行二次甄别,即二次确认用户是否满足后4个条件。
!!划重点:
1. 如果通过电话招募形式,拨打电话时间最好是下班后,其次是下午;早上接通电话的概率极低,就算接通了,用户拒绝的概率也极高。
2. 电话招募时,用户的顾虑会很多,大部分担心是不是骗子,所以打消用户的顾虑很重要。
3. 允许的情况下,可先通过短信运营系统给用户发送短信后再拨打电话;
4. 其次是整理电话招募的话术,可参考如下:
!!防踩坑:
1. 安排好用户时间后,在前一天打电话给用户确认是否能过来,在当天也最好打电话确认,因为需要时间连接设备等。
2. 辨别高质量的用户:很多只是为了薅羊毛。在邀请之前,需要和用户作简单的了解
3. 一定要邀请目标用户!一定要邀请目标用户!一定要邀请目标用户!(认真脸)
4. 招募完用户,安排好测试时间后,记得要将安排表同步给各个参与方,并登记好每个受访用户的基本情况,方便参与方事先对用户有大体的了解。
六、预测试
预测试是按照测试用例完整地走一遍测试流程,可以邀请身边的同事参加;预测试可以帮助提前发现测试用例、访纲、或者是测试机等的问题,以便及时进行调整,以免偏离可用性测试目标,获取的信息价值不高。
一般预测试至少可以发现60%~70%的问题,所以千万不能为了赶时间而放弃预测试。
!!划重点:
预测试时间至少安排在正式测试前2天,这时候发现问题还来得及调整
七、测试执行
在测试开始前一天,通过电话提醒下用户。如果在测试开始后15分钟,用户还没到,再打电话确认是否能到场。
一般进行可用性测试需要配备专业的可用性测试观察室,如下图。相关同事可以通过单向玻璃观察用户的操作、表现。
但是租用一间可用性测试室费用较高,对于预算紧缺的部门来说,成本就太高了。因此,可以考虑低成本的方式:
你需要准备以下设备:
1部iPad+笔记本连接视频通话:目的是观察测试室里发生的一切
2部手机连接语音通话:视频通话的音质较差,所以另外采用了语音通话
1台摄像DV
1台手机录音
投屏软件测试&连接(推荐使用Apower,购买vip后,可以实现录屏的同时进行投屏,方便观察室的同事看到用户在测试机上的操作)
2台笔记本电脑:一台用于记录,一台用于看测试用例等
IOS / 安卓测试机各一部,根据用户使用的机型选择测试机
(为保护用户隐私,图片打码处理)
测试室人员配置:
1名受访用户、1名主访人、1名记录员、1名观察员。
(观察室的人员数量则随意,人数越多,说明对用研的认可度越高)
一切准备就绪,就开始测试吧
注:如果是上线前的原型方案测试,则需要准备测试demo,可以采用纸面原型方式,推荐app:POP、快现
以下提供一份开场白模板:
!!划重点
1. 一定要描述清楚任务的背景,用户才能代入情感和情境当中,才能更好模拟实际使用场景。以免用户只是随便走走流程,感觉就像随便来测试下。
2. 以场景描述为主,避免直接让用户去做什么操作。旨在避免用户机械性地完成任务,机械地薅羊毛。
3. 访谈前,先闲聊:聊聊工作、过来公司的交通工具、我们是通过什么方式找到她的........
4. 慢慢切入主题:这次访谈的目的。一定要明确告诉用户,这是在测试产品而不是他自己。
5. 告知用户现场会进行录像,目的在于为了后续的调研分析,如果他想要的话,也可以发一份给他。有必要的话,可以签署《保密协议》(但略麻烦,需要公司公章)
6. 有些用户很反感要录像,这种情况避免不了,只能当场关掉摄像,但是要记得打开手机录音
7. 及评价、是否曾经遇到过什么问题,当时是怎么解决的?是否已经得到解决?是否满意这种解决方式?
8. 测试进行时,观察用户操作。提醒用户可以边操作边说出想法;注意用户在页面上的停留、疑惑;在测试完成后,询问用户刚是在思考什么?
9. 对于用户提出的问题,不用马上回答,看用户在没有其他人在场的情况下,会怎么处理?
10. 不要打断用户的回答,让用户先说完。记住有疑问的地方,先顺着用户的回答先挖掘用户的目的。后面再补充提问有疑问的点。
11. 如果涉及到给用户看新的设计方案时,不是让用户直接选自己喜欢的设计稿就行,一定要问为什么这么选择、好在哪里。
测试完成后,为客观评估测试任务的可用性问题严重性,需要填写SUS量表
SUS 量表,即情景后问卷,量表一般由 10 道题组成,包括奇数项的正面阐述,也包括偶数项的反面阐述,要求被测者在使用产品后对每个题目进行打分,满分 5 分。
SUS 的优势在于小样本量都能得出较为准确的结果。
SUS 量表如下:
拿到用户的打分后,需要进行SUS分数的转换。
计算公式如下:
SUS分值=(Q1-1)+(5-Q2)+(Q3-1)+(5-Q4)+(Q5-1)+(5-Q6)+(Q7-1)+(5-Q8)+(Q9-1)+(5-Q10)
由于是 5 点量表,每个题目的得分范围是 0-4,SUS 的范围是 0-100,故需要将每个题目得分相加后再乘以 2.5,即可获得 SUS 的最终分数。
举个栗子:
那用户1的SUS得分=(4-1 + 5-3 + 4-1 + 5-2 + 2-1 + 5-4 + 4-1 + 5-2 +3-1 + 5-1)*2.5=62.5
最后通过所有用户的SUS得分平均值,判断可用性问题的严重性;
由于SUS 的平均分数为 68 分,50 以下是不可接受的,70 分以上是可以接受的。
八、输出分析报告
完成测试后,需要整理测试结果,输出测试报告,在内部进行现场汇报,并抄送相关同事及领导。
总结
可用性测试是让设计师变被动为主动的有力工具,可以在一定程度上提升设计师话语权,希望大家都能有效利用起来
~
一定要预测试、预测试、预测试!