ICC、Kappa、AUC……这些常用统计指标,你搞明白了吗?

来源:“医咖会”微信公众号 2025.10.20
我要投稿

荷兰阿姆斯特丹大学医学院麻醉科Patrick Schober教授发表了一篇论文《Statistics From A (Agreement) to Z (z Score): A Guide to Interpreting Common Measures of Association, Agreement, Diagnostic Accuracy, Effect Size, Heterogeneity, and Reliability in Medical Research》,对各种常见的统计指标的界值进行了介绍说明,并建议对医学研究中的一些常用统计指标进行简单易懂的解释,小咖将继续为大家一一介绍。


I²统计量


在Meta分析中,在纳入的研究之间观察到的效应量大小的变异,一方面是由于随机抽样误差,另一方面是由于效应量的真实变化。研究之间效应大小的真实变化称为异质性。通常报告I2统计量来量化这种异质性。


I2表示可归因于异质性而非抽样误差所造成的研究之间效应量的变异在总变异中所占的百分比。相比于评估一致性的经典指标—Cochran’ Q,I2被认为是更好的评价指标,因为它不依赖于纳入研究的数量。


由于I2是一个百分比,所以它是评价异质性的一个相对指标,它不能以绝对值的形式来量化研究中效应量变异的大小。I2的范围为0%到100%。有学者将I2按照25%、50%和75%的界值进行划分,分别代表异质性的低、中、高。如文末表1所示。


组内相关性ICC


在对同一度量或测量工具的定量数据进行一致性评价时,如评分量表的评分者间或评分者内的信度,通常采用组内相关系数(ICC)进行评价。


ICC至少有10种,选择最合适的ICC取决于几个因素,包括所有评估是否由相同的评估员或不同的评估员执行;评估员是否被视为随机样本;主要关注点是个人评估还是平均评估;以及是否评估的是绝对一致性。


ICC系数通常在0到1之间,可以认为是受试者(或评分者)之间的变异在总变异中所占的比例。由于加权kappa统计量是ICC的一个特例,因此可以将ICC和Kappa统计量采用相似的界值进行解释。如表1所示。


Kappa统计量


Cohen’s Kappa,加权Cohen’s Kappa,Flelss’s Kappa


Cohen’s Kappa(κ)统计量是当两名评分者(观察者)将项目分成相互排斥的类别时,对两名评分者(观察者)之间的一致程度进行量化。


例如,当两名考官对麻醉科住院医师的考试通过或不通过进行评分时,可以使用Cohen’s Kappa来描述考官之间的一致性。对于两名以上的评分者,通常使用Flelss’s Kappa。


加权Cohen’s Kappa可用于评估有序条目,比如美国麻醉师协会(ASA)的身体状态分类系统评分。虽然Cohen’s Kappa对所有不一致都视为等同,但加权Cohen’s Kappa对不同意见的权重不同,主要取决于不同意见的值在有序评分量表上的距离。


和ICC一样,Kappa的上限为+1,表示完全一致而非偶然,但与ICC不同,Kappa的下限为−1,表示一致性远远低于偶然预期。当观察一致性与偶然一致性相同时,Kappa值为0。如上所述,Kappa和ICC的解释通常类似,如表1所示。


但是,更重要的是要理解,Kappa统计量不是绝对一致性的评价标准,其本质是排除偶然后的一致性,因此对评分属性的率非常敏感。当评估者的报告发病率非常高时,例如在上述示例中,大多数考生都通过了麻醉学考试,偶然一致性较高,尽管观察一致性良好甚至非常好,但Kappa值也会相对较低。


由于Kappa统计量的这一特点,强烈建议作者报告Kappa值及类别的数量,以及观察一致性和偶然一致性。


受试者工作特征曲线下面积(AUC)


受试者工作特征(Receiver Operating Characteristic,ROC)分析通常用于评估诊断试验的准确性,在诊断试验中,基于某种生物标记物的观察值,将受试者分为阳性(患病)或阴性(健康)两类。


广义来说,ROC分析可以用于评估统计模型的预测性能,以预测二分类结果,如Logistic回归模型。


ROC曲线的Y轴是真阳性率(灵敏度),X轴是假阳性率(1-特异度),通过连续测量变量的不同观察切点值而绘制的一条曲线。


ROC曲线下面积(AUC),也称为c统计量,主要用于评价诊断试验的准确度,或二元回归模型预测的准确度。


AUC为+1表示完全准确,0.5对应随机分类(例如掷硬币将患者分类为健康或疾病),如果AUC<0.5则提示准确度比偶然性还差。


表1.统计指标的界值和解释说明

1.png


表2.统计指标的意义、应用及举例

2.png


来源:“医咖会”微信公众号,作者:龚志忠

原标题:《这些常用统计指标,你搞明白了吗:ICC、Kappa、AUC》