Page 72 - 社科学术研究入门及经验
P. 72
如何看懂一篇学术文章的效度(Validity)和信度(Reliability)
刀熊 刀熊说说 2月8日
最近在一门课上聊到政府部门招聘的问题,好几个学生同时抱怨说自己参加过的好多次面
试都跟该工作岗位一点关系都没有。比如,工作岗位是图书馆管理员,笔试一轮中全是宽
泛的性格测试;工作岗位是政策分析咨询师,面试完全没有问到受试者研究经验或者测试
分析能力,而是进行了一个小时漫无边际的闲谈等等 (是的,美国公务员招聘也存在诸
多问题)。
生活中如果遇到这种情况,我们会很容易察觉到哪里出了问题——比如,想招后勤管理
人员你却一直调查人家有没有科研经历,想招公司文职人员却全是跑步、举重之类的体力
测试,想招专职司机却全篇测试写作能力——OK,虽然俗语说不想当将军的厨子不是好
司机,但这么不着边际的遴选测试考察的是跨界能力而不是做好某个本职工作的能力,古
语所谓“缘木求鱼”是也。谁遇上这样的面试过程都会觉得的是深井冰。
然而在设计研究时候也经常有这种“缘木求鱼”的问题,俗称“研究者中的深井冰”。
比如,你想调查“流行音乐对人情绪的影响”,问卷中却一直在问受试者对古典音乐的
看法;
比如,你的研究问题是“如何提升政府部门绩效”,却只在与政府部门领导的访谈中问
人家海外考察的经历;
比如,你想理解“家花和野花对生长环境的不同需求”,却被家花和野花的外观吸引,
只观察了叶子和花瓣的区别而不是他们的生长环境;
再比如,你想调查“蔬菜销量与经济健康指标的关系”,却只研究了菠菜这一种蔬菜与
经济指标的关系 (其它蔬菜是很不高兴的)。
以上种种,都可以归纳为在研究测量中缺乏”Validity”(效度)的问题。社会研究的设
计中,Validity可是个天大问题。
那么何为一个测量的validity呢?——简单来说,就是“你所检验的是不是你想要检验
的”——你瞄准的靶子是不是你该射击的靶子,你正在行驶的方向是不是你要去的地
方。Validity侧重在measurement当中的“准确性”(accurate assessment)。