信度是标准化人事测量的基本要求之一。若测量工具的信度不理想,则测量结果就无法被认为能代表应试者的一致、稳定和真实的行为表现,就可能误导对应试者的评价。所以编制测验时一定要对它的信度进行有效的评估。
效度就是正确性程度,即测量工具在多大程度上反映了我们想要测量的概念的真实含义,效度越高,即表示测量结果越能显示出所要测量的对象的真正特征。
针对不同的误差来源,信度可以有不同的确定方法。主要有重测信度、复本信度、内部一致性信度和评分者信度。
重测信度(test-retest reliability)。又称为稳定性系数,它的计量方法是采用重测法:用同一测验,在不同时间对同一群体施测两次,这两次测验分数的相关系数(采用积差相关系数)即为重测系数。根据重测相关系数的高低,可以得知测验结果在经过一段时间之后的稳定程度。一个测验的重测信度越高,说明测量的结果越一致、越可靠。
复本信度(alternative-form reliability)。又称等值性系数,它是以两个测验复本(功能等值但题目内容不同)来测量同一群体,然后求得应试者在这两个测验上得分的相关系数(积差相关)。复本信度的高低反映了这两个测量复本在内容上的等值性程度。
内部一致性信度(consistency reliability)。重测信度和复本信度分别注重考虑测验的一致性(稳定性)和跨形式的一致性(等值性),而内容一致性信度主要反映的是测验内容题目之间的关系,考察测验的各个题目是否测量了相同的内容或特质。内容一致性信度又分为分半信度和同质性信度。
评分者信度(raters reliability)。是指不同评分者对同样对象进行评定时的一致性。最简单的评估方法就是随机抽取若干份问卷,由两个独立的评分者打分,再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方法,也可以采用斯皮尔曼等级相关方法。
效度是一个多层面的概念,它是相对于特定的研究目的和研究侧面来言的。因而,检验效度必须针对其特定的目的功能及适用范围,从不同的角度收集各方面的资料分别进行。检验效度的方法大体有三种。
(一) 内容效度 考察内容效度旨在系统地检查测量内容的适当性,并根据我们对所研究的概念的了解去鉴别测量内容是否反映了这一概念的基本内容。检验内容效度就是检验由概念到指标的经验推演是否符合逻辑,是否有效。 内容效度实质上是一个判断问题。K.D贝利在《社会研究方法》中指出,内容效度必须考虑两个主要问题: (1) 测量工具所测量的是否正是调查人员所想要测量的那种行为 (2) 测量工具是否提供了有关的那种行为的适当样品 (二) 准则效度 准则效度是指被假设或定义为有效的测量标准,符合这种标准的测量工具是可以作为测量某一特定现象或概念的效标。当我们对同一现象的或概念进行测量时,我们可以使用多种的测量工具,每种测量方式与效标的一致性就成为准则效度。 (三) 建构效度 考察建构效度就是要了解测量工具是否反映了概念和命题的内部结构,这种方法常常在理论的研究中使用。由于它是通过与理论假设相比较来检验的,因此建构效度也被称为理论效度。 |