我们经常用“天马行空”、“不拘章法”来形容写作之人才思敏捷,文风新颖,气势豪放。不过,对于设计和编写问卷来说,“天马行空”、“不拘章法”并不是什么褒义词。很多时候我们有诸多想法喷涌而出,于是巴不得大笔一挥,一气呵成,迅速投产。但这种有如江湖游侠快意恩仇般的感觉经常只是一时之快,等到实地执行或看到数据的那一刻,往往要追悔莫及。要想修成武林高手,我们还是乖乖地从下面的套路走起吧。
第一步:明确研究的目标
做事情要目标明确,设计问卷也一样。我们首先要明确自己在调查中想要了解什么。这时候要注意,我们想要了解的问题一定是具体的问题。以诸如我们想了解“新型冠状病毒疫情下的中国社会”的主题为例,这样一个宽泛的主题会让问卷设计无从做起。只有研究问题足够具体时,将主题设为我们关心“新型冠状病毒肺炎疫情对中国人的心理健康(或是诸如企业运营、家庭关系等方面)的影响”——这时候我们的问卷设计才能聚焦到我们想要测量的概念与变量。
我们还需要进一步明确研究的对象:是感染过新冠病毒的人还是没有感染过新冠病毒的人?是个人还是企业主?是城里人还是农村人?在问卷中,我们首先需要对不符合条件的人群进行筛选。同时,确定了研究对象,也有助于我们找到合适的方法触达我们的研究对象,并采用合理的方式提问。比如如果我们的研究对象是低学历的人群,我们在问卷的遣词用句上应尽量做到通俗易懂。
第二步:理清研究概念
当明确了研究的问题后,我们则可以进一步列出我们所需要测量的概念。如果我们关心新型冠状病毒肺炎疫情对企业运营的影响,那我们需要理清从哪些方面去衡量企业的运营,它可以涉及到人员复工、资金运转、客户维系、供应链影响等诸多方面。
可以看到,研究概念往往是抽象的,我们需要进一步把这些抽象的概念转化为可测量的指标。举一个很简单的例子:当我们想了解受访者的社会经济地位时,我们不可能直接提问受访者的社会经济地位是什么。常规的做法是,我们通过测量受访者的受教育程度、职业、收入等一些具体的指标,来衡量他们的社会经济地位。
第三步:制定数据分析计划
尽管数据分析是调查收集完成后的事情,但提前布局非常重要。当数据分析计划明确时,我们可以合理分配宝贵的问卷空间,确保重要的变量信息能收集完整,不重要的变量信息不会占用太多空间。
明确的分析计划还可以确保每个变量都符合我们想要的类型。比如当提问收入的时候,我们是使用连续变量还是分类变量?连续变量得到的信息量更大,但分类变量可以降低问题的敏感度,减少数据缺失的比例。如果我们在分析中对这个变量的精度要求不是很高时,我们可以使用分类变量,而没有必要使用连续变量;反之,我们使用分类变量则可能最终无法满足分析的需求。
第四步:收集信息
在完成了以上三步后,我们快要进入具体编写问题的步骤了。不过在开始编写问题之前,我们仍然有一个非常重要的收集信息的步骤。尽管创新在很多场景下都是被鼓励和赞扬的,但是设计问卷的时候,我们鼓励“抄袭”和“借鉴”他人的问题。这是因为,很多问题有成熟的问法,它们可能是研究领域内比我们更专业或更有经验的前人设计的,或者经历了大量实践的检测和打磨。如果和我们的测量目标相匹配,我们更有理由使用或借鉴这些成熟的测量方法,而非从零开始推陈出新。此外,借用他人的问题还可以满足比较分析的需求。所以,在编写问题之前,我们需要做大量的文献研究工作,了解前人在我们感兴趣的主题上都是怎么做的。
除了从文献中获得信息外,我们还可以通过专家讨论会、焦点小组访谈来进一步获取信息。这些方法可以帮助我们更全面、深入和准确地理解要测量的核心概念。
第五步:编写问题
现在我们终于可以开始编写问题了。编写问题最重要的点是站在受访者的角度来思考问题。尽管经历了上述步骤后,我们自己对我们所要调查的问题已经有了充分的认知,但这并不代表受访者和我们有同等的认知。我们在每一道问题上都可以问自己以下三个问题:
1)受访者是否能够正确理解这道问题?
2)在回答这道问题的时候,受访者是否有足够的能力获取/回忆/加工相关信息?
3)受访者是否愿意回答这道问题,或是否愿意提供真实的答案?
如果这三个问题上任一个问题的答案为否,那我们都需要考虑修改或者直接删除这道问题。
除此之外,在这一步骤上我们还需要处理一下问卷编排的问题,比如卷首语和结束语的编写、问题的分组和排序、变量的编码等。若问卷需要计算机化,我们需要写明程序语言;若有访员参与,我们需要注明访员操作指示;若是受访者自填的问卷,则问卷呈现的外观(如字体大小、背景颜色等)也是需要考虑的因素。
第六步:测试与修订问题
问卷测试是问卷设计中至关重要的一步,它会直接影响到数据收集的过程与效果。问卷测试有系统的方法,比如专家评审、焦点小组访谈、认知访谈、行为编码、试调查、统计结果检测等。每种测试方法的侧重点不一样,在成本允许的范围内,我们可以综合使用多种测试方法。
基于测试的结果,我们需要对问题进行修订。对于一些实质性的或重大的修订,我们还需要做进一步的测试,以确定旧的问题得到了修正,并且没有引发新的问题。
除了检查调查问题本身外,这一步还需要测试整个访问流程的方方面面,其中很重要的一个方面是评估问卷时长的影响。如果访问时长超出了受访者的承受程度,需要考虑缩减问卷的长度。
以上便是设计问题的六个基本步骤。总的来说,设计问卷的时候放飞自我是万万不能的,过度标新立异是不提倡的,文不加点往往是一厢情愿的。自我克制、知己(研究问题、测量指标、分析计划等)知彼(过往研究、受访者等)、反复打磨是问卷设计的关键。
期待各位同行评论交流。