Short Answer：大概会有10%以上的用户在填问卷时作弊，但并不会影响到调查的最终结果。

前言

在线问卷是用研人员最常用的调研方法。诸多的问卷平台也有提供各种服务帮助人们更快捷地触达用户和收集问卷。我本人是问卷星中互填问卷功能的簇拥者，也依靠该功能收集和完成多次调查。但是，并不是完成问卷收集，我们真正关心的当然还是调查结果的信效度---这些问卷所展示的结果是不是真的反映了用户的所思所行。

在这篇文章里，我希望讨论一下在线调查的答卷人与数据质量之间的关系。

多少人在答卷时作弊：

在以前的一篇文章中，我简单介绍了问卷中防作弊的几种方法。Jeff Sauro总结了这些方法，并通过‘本题选择3’的方式探索了5次问卷调研的数据发现：总共有11.98%的用户在调研中作弊。在Julie Down等人的会议论文中，他们通过测试用户是否有认真阅读与问题相关的邮件内容判断用户有没有用心填写问卷，其结果发现：38.94%的用户在填写问卷时并不认真。

在前不久，我调研了几个问卷平台的SUPR-Q分数。在问卷中，有一个问题是‘请问你使用过的问卷平台有：’。由于所有的答卷均是通过问卷星的互填问卷收集，所以在本题中没有选择‘问卷星’的答卷我都以无效问卷处理（互填问卷是只有在问卷星发布了问卷才能参与的功能）。问卷收集分为3次进行，总共有15%左右不认真的填卷人：

专业填卷人对数据质量的影响：

在上文中我们知道了尽管是大部分的专业填卷人还是有在认真答卷的，但每次问卷调研中总有着不同比例的‘作弊者’。如此一来，我们的问卷结果所展示的还是真实的情况吗？我所看到的文献中，对这个问题的探索可以追溯到1962年。但在这里，就简单介绍两篇。

杜克大学的D. Sunshine Hillygus等人在《Online Panel Research: A Data Quality Perspective》中综述了诸多前人的研究，并指出学术界对这一问题并没有统一的意见：有研究发现专业填卷人的完成时间更快，随机选择/不选择/选择‘不知道’以及直线作答的可能性更高；同时，也有其它的研究发现专业填卷人的答卷对问卷结果并不构成显著的影响。通过自己的研究，Hillygus等人也发现：专业填卷人在填写问卷时会花费更多的时间和努力，但同时也更多地跳过非必答题、使用‘不知道’选项或者在开放性问题中提供无用的信息。

荷兰的Suzette Matthijsse等人调研了19家调研平台的9461名用户，试图探究专业填卷人对问卷结果的影响。其研究发现专业填卷人在社会和心理因素上与非专业的填卷人有一定的区别：他们更多的是独立工作者和思考者，而不是团队工作者和行动者。但这些特质并不意味着专业填卷人的答卷会影响整体的调查结果。

我的数据

每个人遇到的情况并不完全一致，我们也不能盲目相信别人的研究结果。幸运的是，我能够通过自己的数据得出自己的结论：在此前关于音乐播放器的调研中，我有一小半的数据来源于朋友圈传播，另一半源于互填问卷。对于前者，我认为他们答卷的动机在于兴趣、朋友请求等，并将他们定义为‘志愿者’，共有184人；对于后者，由于互填问卷的激励机制，我认为他们的答卷动机主要源于利益激发，所以将他们定义为‘填卷人’，共有285名。接下来，我们来比较一下二者在数据结果方面的差别。

1.用户属性分布

如图，不论在填卷人和志愿者群体中，均是女性占比更大，年龄集中在18~25岁之间。两个群体在属性上的一致也为方便了进一步比较其它数据。

2. 品牌认知度

本题询问用户所知道的音乐播放器品牌。如图所示，尽管在数值上存在一定的差异，但在整体趋势上来看填卷人和志愿者之间并无明显的差异。

3. PC端及移动端常用音乐播放器

本题询问用户在PC/移动端最频繁使用的播放器品牌。如图，不论是在填卷人和志愿者群体中，用户最频繁使用的播放器为：酷狗、QQ和网易云音乐。只是在移动端，填卷人和志愿者群体在常用播放器上存在着不一致。

4. PC端及移动端音乐播放器的净推荐值

如图，在NPS得分上，填卷人和志愿者群体之间存在着一定的差异。尽管如此，在总体趋势上，两个群体之间不存在明显的区别：在PC端，网易云的NPS值领先于酷狗和QQ音乐，后两者相较持平；在移动端，网易云的净推荐值遥遥领先于酷狗和QQ，但酷狗的NPS值仍在一定程度上高于QQ音乐。

总结： 有上述数据可以看出，填卷人和志愿者之间的群体差异不会显著影响到问卷的最终结果。上述呈现的部分差异更有可能是源于问卷回收的数量所导致，而不是因为两个群体的差异。即，尽管在专业的填卷人中存在着一定的作弊者，但这并不意味着填卷人会改变你的调查结果而得出错误的结论。

PS：因为个人使用问卷星的互填问卷功能完成了多次调查，这次比较也算喂给自己一颗定心丸。但同样的，还是希望大家在使用互填问卷的时候能够更谨慎一些，如果你的问卷需要特定的用户群体来完成，还是请放弃互填问卷吧。

Another PS：我的朋友圈和问卷星的用户的契合度竟然这么高~~~

参考文献

Downs, J. S., Holbrook, M. B., Sheng, S., & Cranor, L. F. (2010). Are your participants gaming the system? Screening Mechanical Turk Workers. International Conference on Human Factors in Computing Systems, CHI 2010, Atlanta, Georgia, Usa, April (p.2399-2402).

Jeff Sauro. (2010). How many people cheat in online surveys?

Matthijsse, S. M., De Leeuw, E. D., & Hox, J. J. (2015). Internet panels, professional respondents, and data quality. Methodology, 11(3), 81-88.

Hillygus, D. S., Jackson, N., & Young, M. K. (2014). Professional respondents in nonprobability online panels. Pediatria Polska(11-12), 1351-1354.