导论:首先声明一下,调查问卷属于定量研究方法,虽看似简单,但是一份真正有意义的问卷包含很多学问。我们在做产品研究的时候,往往会通过用调查问卷的方式看看用户对产品的喜好程度和看法,但你的调查真的有用吗?收集回来的几千份问卷,你有没有想过有可能数据是无效的?
在谈调查问卷方法前,先说一下定性与定量研究差别:定性研究能让研究者洞察用户在使用产品时为什么会有这样的表现,是如何使用产品的。但是定性研究不会准确告诉这些特征和趋势在整个用户群体的普遍性。只有定量研究才能确定用户量。问卷的终极目标:验证或提供某个问题的因果解释,即解决问题,其次才是描述情况。问卷可以定位用户【用户画像、用户分类研究】、揭示用户的兴趣偏好等【用户使用行为研究等】、用户对产品的喜好度和满意度等。
在实际操作中,如何避免踩坑呢?以下是问卷设计存在的一些问题:
(1)问卷不能反映实际人群,不具有代表性,问卷没有价值;
(2)问卷设计的题目和选项有误,没有统计价值;
(3)诱导性问题,诱导用户迎合你的个人想法去做选择,比如问用户我们推出音频产品的某一个新功能你会用吗?实际上用户会根据你的潜台词给出言行不一的结果,在实际场景中的选择,可能和他选择的选项大相径庭。
(4)问卷逻辑问题,只局限于描述情况,不能解决问题,问卷价值不大。
那么如何设计问卷才算是有价值的,才是合理有效的呢?下面我将结合实际项目经验去介绍问卷的设计流程。
问卷设计流程
一、问卷设计的前期工作
1.确定研究目的:要做问卷,自然要圈定一个问题范围,即想了解哪些方面?要解决什么问题?这是问卷大方向,如果这里出现偏差,那此后的工作基本就是无用功。
2. 参考文献:可阅读相关的行业研究报告或类似靠谱的问卷研究,这有助于避免走错方向,也能提供新思路。如有条件,可以找到相关的数据,先刨一下数据,做些数据分析,这非常有利于问卷将来设计和发放以及数据分析。
3.前期定性研究:
前期定性研究好处是:
(1)确立目标人群:前期研究可确立目标用户,了解你的研究对象需要满足什么样的条件,并访谈目标用户,定性的目的主要是去了解他们对于你想了解的领域和想解决的问题,怎么想?怎么看?
(2)可保证提出假设的多样性,具体说明在第4点形成前期(定性)研究报告:提出假设;
(3)选项完整性、代入性:前期定性研究,焦点小组、深度访谈、观察法都可以提供细致、特定的价值和行为信息,以涵盖普遍行为等信息,让用户在填写调查问卷时尽可能找到符合自己的答案,以来检测普遍性。当用户邀约到一定数量,选项也就趋于完整。另外,可以在答案选项里添加“其他”这个选项,可以让用户自己填写。同时其次受访用户也可以指导你使用各种术语,以免写问题时不至于使用那些受访者感到疑惑的词汇。问卷中某些题目中的选项需要经过访谈提炼出来,而不是设计问卷者自己臆想出来的。
比如:您为什么会在音乐软件上付费呢?【探究用户付费动机】
□ 想听的歌必须付费才可以听
□ 包月听歌
□ 支持正版歌曲
□ 支持自己喜欢的歌手的数字专辑
□ 影视剧等独家资源
□ 其它___________
以上题目中的所有选项完全依靠访谈提炼出来。
4. 形成前期(定性)研究报告:提出假设
你需要根据你目前了解的定性材料(报告和访谈),做一个全面的剖析,提出假设,比如你的问卷目的是想探究开车听音乐的用户使用车载APP操作行为是怎样的?经过定性访谈总结后提出假设:不同的行车场景用户操作存在差异,车上有乘客时的操作比独自一人开车操作的影响因素更多等。在调查中,我们提出的假设很容易自我代入。但对用户尽可能全面的剖析调研,提出的假设需要多样性,怎么保持中立的态度而尽可能多的提出用户属性假设呢?这就是为什么我们要在问卷设置前做访谈的原因。帮助自己进一步加深对用户的理解、穷尽多种可能性。
二、设计问卷
1. 围绕假设,根据影响因素形成问卷逻辑
以开车用户使用车载APP听歌为例:用户在车上的使用行为受车上装置(前装、后装)、不同的开车场景、车上是否有乘客、性别、年龄的影响【车载装置、开车场景、车上是否有同伴、车主性别、年龄都是用户使用车载APP的影响因素】
形成逻辑:举个例子则是已婚的高端汽车男车主,因已婚有小孩,出行场景较多,意味着有更多的娱乐机会,且他们的出行车上多有同伴,爱人、朋友等,爱人会根据自己的听歌喜好影响车主的操作。他们会去自驾游、上下班、购物等,自驾游听歌内容会与上下班有差异等。
2. 围绕假设,设置题目编写问卷
根据上述的影响因素,问卷自然而然会偏重去了解性别、年龄、车载装置、开车场景、开车同伴。在这个环节,除以上领域外,最好能够多设置一些问题,以了解其他方面,毕竟谁也不能保证我们提的假设就一定是准确无误的,如果出了问题,还可以在一定程度上补救。
问卷题目设置原则:
(1)问卷各个模块有区分,比如甄别部分、重点部分、个人信息部分;
(2)重点问题放在问卷前半部分,用户回答问卷会疲惫,越到后边问卷的信度、效度就会下降;
(3)问卷题目先问受访者最近发生的事情,后问受访者以前发生的事情;先问受访者行为方面的问题,后问受访者态度方面的问题;
(4)问题设置要顺理成章,避免“跳跃式”提问,在实际调研中,受访者参与度和配合度较低,很容易丧失耐心,因此应顺着受访者的思维问问题;
(5)题干设置要通俗易懂,易于用户理解;
(6)题目选项设置三原则:
选项分类在同一纬度;
选项之间不包含,不交叉(MECE原则);
选项穷举(MECE原则)
(7)需注意选项时间设置是时间段,不是时间点,且注意时间段的节点包含,时间段设置要符合人们的常识性与习惯性。比如想了解用户使用某一个软件/功能/产品多久了?是一个时间段的概念,题目设置为:
您使用XX软件多久了?
□ 半年内
□ 半年-1年(含1年)
□ 1-2年(含2年)
□ 2-3年(含3年)
□ 3年以上
(8)不要一题多问,选项也不要包含多层意思;
(9)不要设限,提出的问题需要让用户觉得有很适合自己的选项,特别是提供“没有”选项、“保密”选项、“不知道”选项、“以上都不是”、“没有答案”等。
(10)问卷中涉及到的学术性、专业性名词需要解释,比如最近一个月您使用在线音乐软件听歌吗?【在线音乐软件是指能够在连接网络的情况下,在线听歌的软件】
(11)问题不要让用户预测他们自己行为,比起他们陈述,人们过去的行为能更好预测他们的未来,如想知道用户未来是否会使用付费产品,就不要这么问“您愿意为音乐付费吗?”应该这么问“您对音乐付过费或想要对音乐付费吗?”
3. 确定问卷发放方式和发放量
在问卷领域,最关注的是“代表性”,而非数量。一些调研经常会用样本数量来证明为自己调查结果是真实的,“”比如多少网友表示“”这其实是错误的,你的样本再大,调查人数再多,如果是有偏颇的,那也是没有意义的。很遗憾,由于条件所限,一般商业问卷常常是街边发放或者网上问卷,在统计学上都属于非概率抽样,其统计价值相对不高;如有可能最好采用概率抽样,那样你的结果将具有很大的实际价值。对于统计研究而言,样本量越多当然会让分析结果更加精准,但也会导致调研成本增加。
假设可信度95%,标准误差为5%,近似样本量为:
就企业和工作实际情况而言,经常会做线下活动效果评估等,如果是做问卷,尽量别搞路遇抽样——随意发放,起码做整体抽样,按被访者类别发放问卷。一份包含15个问题的问卷,有效问卷,即没有随意填答且所有问题都回答的问卷,数量至少达到200份以上。【问卷调查题目数量设定:一般答题5分钟之内结束,最多30题】。
4. 问卷预测试和修改阶段
尝试性的发放一些问卷,找5-10人试做帮忙纠错,可以找同事、目标用户等,及时修正问卷的错误并确定最终的投放问卷。在正式投放问卷前再问自己几个问题:
(1)该问的都问了吗?不该问的都省去了吗?
(2)想了解的目的与实际问出的问题相匹配吗?
(3)事后都是可统计/有意义的吗?
(4)事后是否可整理?整理的成本多大?
5. 问卷发放
问卷在线投放时间一般为1-14天,取决于问卷回收的目标样本量。在问卷投放中,我们经常遇到,不知道如何找到符合调查的人群进行问卷投放?
调研初期会先确定调研对象,之后选择能最有效触达目标用户的渠道投放问卷,这里也会有一定的技巧或方法。如果是针对特定产品的调研,可以借助后台数据确定抽样框,并在产品内部进行投放。一些针对大盘的调研,我们会借助QQ平台进行问卷投放,并对结果进行配比以保证数据代表性。有时也会委托第三方调研机构投放问卷,如对竞品用户调研时会采用这种方式,一方面保证触达目标用户,另一方面保证数据结果的客观中立。
三、问卷回收与分析
1. 问卷有效性检验:将没有完全作答的题目、问题回答有逻辑冲突、回答时间短、选中无关选项(干扰项)的无效问卷剔除掉。
对回收的问卷, 在剔除无效问卷的同时要统计有效问卷的回收率。保持一个较高的问卷回收率(即有效问卷率),也是我们获得真实可靠资料的保证。一般来说,回收率如果仅有30%左右,资料只能作参考;50%以上,可以采纳建议;当回收率达到70-75%以上时,方可作为研究结论的依据。因此,问卷的回收率一般不应少于70%。
2. 数据分析:通过一些数据分析软件,如SPSS分析数据。实在不行,用Excel也可以实现,只是复杂点,需要些写一些公式。
问卷调查的方法也不是万能的,有些时候针对问卷中的用户行为数据调研最好可以结合后台数据进行分析,用户的行为比他说的更真实。
3. 输出研究报告:不只是几个饼图,条形图,而是包含一套关于问题的详细描述的解决方案,且这个方案是用数据详细论证的。
四、反思与总结
(1)这份问卷在多大程度上达到了设计目的?
(2)有哪些地方不尽人意,为什么?这些地方如果可以在下一次进行改进,应该怎么改进?如果不能改进,还有更好的解决方案吗?
以上所述结合自己的研究经验积累,仅供大家参考。