用研实操---‘到位’的可用性测试报告


前言

学习的时间不短了,案例也分享了许多, 所以~~我打算自己做一次可用性测试了:

本次可用性测试的目标为‘到位’,支付宝版本为9.9.8,网络为WiFi环境。总共有9人参与测试,均有多年移动app使用经验。测试发现:到位的在系统可用性量表(SUS)上的得分为60.6,在Lewis和Sauro的等级表中评级为D级,优于该数据库中30%左右的产品。

接下来将是对测试过程的详细描述。


测试目标

本次测试的目的在于探索‘到位’4个核心流程的可用性,并在测试结束后使用SUS量表评估‘到位’整体的可用性基线水平。

测试流程

测试前(3~5分钟):a) 了解用户对‘到位’的认知;b) 用户花3~5分钟的时间熟悉到位的界面和功能。

任务测试(25~30分钟):分为3个任务情景,共5个任务,涉及‘到位’的4个核心流程:

背景A:你最近时间比较宽裕,希望找一份家教的兼职来填充空闲的时间并获取一定的报酬。

a) 在‘到位’中找到一份合适的家教(去帮忙

b) 在‘到位’中提供自己的家教工作(发布服务

背景B:今晚你的朋友都没有时间,但你希望能够有人陪你一起运动(跑步、打球等)。

c) 在‘到位’中找一个合适的人陪你运动(找服务

d) 在‘到位’中提供你需要找人一起运动的诉求(发布求助

背景C:你需要马上把文件带给你的同学,但你和你的朋友现在都无法脱身。

e) 在‘到位’中找人帮你把文件从北区李苑419带到南区人文楼505

备注:用户使用自己的移动手机完成任务并在操作时做出声思考;在测试中对背景A和B的测试顺序进行平衡处理;每个任务完成后退出至支付宝首页再开始下一个任务;通过手机摄像记录下用户执行任务的过程;任务e的目的在于测试‘到位’的易学性。

任务/测试后(3~5分钟):用户在每个任务后完成SEQ问卷;在完成全部任务后,填写SUS量表。


测试结果

测试完成度:用户的测试情况分为完成,放弃和错误三种。后两者分别是用户主动放弃继续任务和用户错误地认为自己完成了任务。需要注意的是,尽管任务描述中鼓励用户在地图中探索以完成任务,但用户使用搜索/发布功能也算作任务完成。各个任务的完成情况如图:

任务难易度:用户在每次完成任务后对该任务的难度进行从非常困难到非常容易的7点评分。在第一轮测试3名用户后发现用户容易的评价其完成的任务为非常容易,放弃的任务评估为非常困难。因此在之后的测试中将‘打开支付宝’这一任务定为‘非常容易’的标准。在统计分数时,也只计算6名的SEQ分数。如图,用户在执行第一个任务时经历了最高的难度,随着测试的进行,用户开始熟练到位的使用,任务的难度开始下降(图中数值大代表难度低)。

可用性分析

1. 分析录像:在黄色的贴纸上记录用户的操作路径和部分言语;在旁边通过不同颜色的贴纸记录观察到的可用性问题或亮点。

2. 归类整理: 将不同的可用性问题按照类型进行分类和计数。

可用性亮点

1. 使用路径  到位中可以通过多种操作路径达成同一任务目标。大多数用户的使用路径为:在地图界面探索---使用导航栏或搜索进行筛选---(无结果的话)发布服务/求助。有一名用户表示没有注意到搜索功能。

2. 功能模式  用户能够通过地图直观判断距离和地区;地图上的气球图标能够吸引用户的注意力并鼓励探索;服务封面有助于用户对服务提供者进行第一印象的判断。

可用性问题

1. 服务vs. 求助  6名用户在使用中没有切换找服务/找帮助,且在发布服务/求助时存在犹豫。其中1名用户在表示‘这里没有人需要家教’而放弃了任务,3名用户在找家教的任务中预约了他人的家教服务。

2. 交互细节

a) 在地图界面:两名用户表示‘只想和女生一起跑步’,但只通过地图气球一个个探索;

b) 在发布服务表单:8名用户忽视了导入封面图片;所有用户都触发了‘描述不可低于50个字’的提示(后期确认表示如果不是测试,会填写更多内容);界面中中显示已存在图片,但提示‘图片上传未完成’。

c) 在发布求助表单:用户似乎会将发布服务时学习到的规则套用在发布求助的表单中(用户在描述求助时输入完整的用户背景,有一名用户在求助发布成功后惊讶于没有50个字数的限制);用户输入标题的内容通常与求助分类相同(找人送文件的任务)。

3 .命名

a) 主要体现在发布服务和发布求助时二者的分类并不存在对应关系;

b) 发布服务时有较多分类,用户经常跳过‘教育咨询’,有两名用户选择了‘专业咨询’;

c) 发布求助时,用户对分类的理解存在歧义:在发布‘找人一起运动’的求助时,有6名用户选择了‘其他’,剩下的2名用户分别选择了‘寻人’和‘跑腿’,还有一名用户在‘寻人’和‘其他’之间犹豫后选择后者。

4. 其他

a) 地图vs.列表模式:尽管在初次打开的时候有着蒙版提示,但仍只有1名用户在任务前的熟悉产品阶段发现了列表模式,并在任务中持续使用。

b) 推广:在测试前所有用户均不知道‘到位’功能,即使更新了支付宝;

c) 网速制约:地图气球的加载速度导致用户误判‘这边没有人用这个啊’;

d) 新旧版本规则冲突:测试中有一名用户使用的旧版本,所以在添加6张图片后仍然收到‘请添加封面图片’的提示;

e) 可信度问题:1名用户表示不知道能否相信服务提供者,并表示不知道‘芝麻信用’代表什么。


建议:

1. 对找服务和去帮忙两个底部TAB做更明确的区分:用户通常不会切换底部TAB,而是在默认的首页进行探索;

2. 搜索和筛选功能的优化:尽管地图气球鼓励了用户在到位中进行探索且能够快速对比距离差异,但事实上大多数任务是通过搜索或发布完成。

3. 对表单中项目的填写限制和必填/非必填项做出明确的标识;

4. 为服务描述提供可选的模板,避免过多的输入操作导致用户流失;

5. 对服务和求助的类型进行优化,以方便用户快速选择分类;

6. 新旧版本间规则冲突的BUG修复。


测试中踩的坑

1. 一定要事前确认设备的版本等信息。我在测试中看到同学支付宝上有‘到位’就默认他更新了,但事实上是旧版... 虽然也发现了新产品的规则被直接套用在旧版本上这种BUG.. 但源于该用户的其它测试结果(SUS,SEQ)我就无法使用...  在真正的用户研究中这部分的招募、测试成本就基本白费了...

2. 测试过程中应该关注用户的操作并适当的做笔记。在第一轮测试中,我明显更多关注了摄像的效果怎么样... 以至于不得不在后来和他们再把视频过一遍才知道该问些什么,对于一些明显需要提问深入了解的部分也没能够及时关注。

3. 计划与变化。用户执行任务的过程中,总有在项目计划时考虑不周的地方,在有条件的时候应当做到及时调整。我觉得我在SEQ的问题上做的不错啊~~

4. 为了完成任务而完成任务:为任务制定精细而明确的目标应当能够避免这种情况。

5. 对任务目标的定义不清晰:由于没有明确的定义目标,对用户的输入内容没有严格控制,所以不能将完成时间作为评价指标。

PS. 整个准备+测试+报告在晚上或实习的空闲中完成,时间预计在3个工作日左右。

附录:

测试任务卡(用户版):

测试任务卡(观察者版):

SUS量表

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容

  • 概要/前言 上一次测试微信小程序的时候被吐槽测试的APP她们都不知道或者不感兴趣,所以在某些人的强烈推荐下这一次选...
    IvanMu阅读 3,434评论 4 18
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,601评论 18 139
  • 我们在做产品或系统的可用性测试后,都想把结果更好地传递给相关方。除了定性的研究结果之外,还有定量的可用性问卷,这些...
    小释界阅读 15,496评论 1 34
  • 可用性工程阅读笔记 Nielsen 看这本书和写下这些笔记总共用了快两个星期的时间,这段时间事情真的有点多。。 从...
    Witty_28阅读 1,934评论 1 12
  • 逼着你往前走的,不是前面微弱的光芒,而是身后的万丈深渊 自己幸福,让更多人幸福,好好活着,帮助更多人好好活着。
    磐石yy阅读 158评论 0 0