用户研究|用户满意度评估模型搭建和检验方法探讨

用户满意评估的价值

用户满意度反映的是用户的一种心理状态,是用户对其明示的、隐含的需求和期望被满足程度的主观感受。用户满意度评估对企业生存和产品体验升级都有重要的意义:一方面,随着移动互联网人口红利逐渐消失,手机应用获取新客的成本和难度变得越来越高,通过提升用户满意度充分激发现有用户价值成为企业非常重要的商业策略。
美国顾客满意度指数ACSI数据表明,用户满意度的提升能带来用户消费频次的增加,同时也会为企业赢得更高的声誉,带来拉新、促活成本的降低。此外用户满意度通过度量产品体验现状和迭代动作有效性,对助力产品体验提升起着重要作用。

搭建用户满意度模型的步骤

用户满意度模型构建流程分为「明确目标」「指标收集」「指标定义」「指标归属」「指标赋权」5个步骤。

Step1 明确目标

明确评估目标包括明确评估用途和范畴,用户满意度评估的用途不同,在评估侧重和衡量方式上会有不同。
如衡量产品改版效果的用户满意度侧重关注改版目标是否达成,更关注改版前后影响体验目标达成的体验点变化。用于摸底产品体验水平的用户满意度侧重了解产品对用户需求和期待的满足情况,更关注产品自身体验长短板以及相较于其他同类产品体验优劣势。

Step2 指标收集

用户满意度指标收集可结合案头侧、用户侧和专家侧三方信息获取:

  • 案头侧指标收集方式主要是案头研究和产品走查。案头研究可重点关注成熟评估模型以及行业趋势、产品模式和用户需求分析报告,结合对产品的走查分析,提炼“高的产品体验”需要包含哪些要素。常用的案头研究渠道和可查询的信息如下图:

  • 用户侧指标收集方式主要有用户座谈会和客诉反馈,座谈会把目标用户邀请到一起畅谈对产品的需求和期待,邀请对产品使用程度较深的“专家级”哟慕尼黑个湖能贡献更多有效信息。另外客诉反馈也是能集中了解用户对产品关注点和痛点的数据渠道。

  • 专家侧指标收集方法主要是专家访谈,通过向专家了解产品目标、目标实现方式及后续主要动作来拆解对当前产品体验重要的维度和指标。专家访谈需要覆盖到能决策产品方向的人,且专家职能身份尽可能的多样化,如覆盖产品、运营、设计、技术、市场等不同职能角色。

Step3 指标定义

给指标下定义需考虑指标的体验标准高低和文案描述两方面:
体验标准选择要符合产品本阶段的目标,指标描述一般要遵循通俗性、简洁性和单一性原则:


Step4 指标归属

将定义好的指标进行维度划分与归属来构建评估模型。维度初步划分有「用户接触产品的触点」和「产品功能模块」两种方式。模型构建都需要遵循“完备互斥”原则,即指标既齐全不遗漏,也没有重复。

Step5 指标赋权

同评估指标的重要性程度不一样,
在完成评估模型搭建之后,需要赋予评估指标权重,指标赋权的方法按照打权重的人不同可以划分为专家赋权和用户赋权两大类:

  • 用户赋权是根据用户对某个体验点(指标)满意度打分和对产品整体满意度打分之间的关系测算出来的间接赋权方法,体验点满意度分数变化对产品整体满意度分数变化的解释程度越高,体验点对应的指标权重就越大。常用的指标赋权方法有“线性回归”、“因子分析”和“结构方程模型”。
  • 专家赋权是领域专家,如产品、运营、设计等对指标重要性进行主观判断,因此又叫直接赋权法,常见的直接赋权法有“直接评定法”、“分值分配法”和“层次分析法”。“直接评定法”就是专家逐个判断指标重要性,“分值分配法”是预先给定所有指标一个总分,专家把总分分配到各个指标上,“层次分析法”是专家对指标重要性进行两两对比,因为能更好地在对比过程中帮助专家理清指标的相对重要性,层次分析法是专家赋权中更为常用的方法。

其中用户赋权反映了用户对评估指标所反映体验点的需求强度,在初次搭建模型对用户需求强度优先级不明确时可以考虑使用,但用户赋权受产品现状影响较大,产品当下已经成熟和形成规模的方向更容易获得较高权重,而对产品未来重要但目前规模较小的方向权重则可能较小。专家赋权反映专家对产品现状和产品未来方向的综合判断,可以在产品较为成熟或开始尝试创新方向时考虑使用。

用户满意度模型的检验

模型检验分为「指标内容检验」和「结构归属检验」两类:

Step6 模型检验
  • 指标内容检验
    指标内容检验关注指标描述对想要评估体验点的符合程度和可理解性,即指标的内容效度。
    指标内容检验可通过领域专家完成,邀请至少 3 名以上专家对指标内容有效性、易理解性等维度打分,专家一致评价为符合的指标占比即为模型内容效度( S-CVI )。对于专家认为不符合或专家打分不一致的指标需要咨询专家具体原因并作出适当修改。一般而言专家一致评价符合的指标不应低于 80 %。常见的指标内容问题包括指标描述未能准确概括体验点、指标描述有歧义、指标定义的体验标准不合适等。


  • 结构效度检验
    结构归属检验是判断评估指标与想要测量概念(归属维度)之间关系的方法,判断归属关系的方式有看同一维度下指标间的相关关系,指标对测量概念的解释程度等。常用的结构归属检验有同质性α信度检验、探索性因子分析和验证信因子分析。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容