预测模型的校准度验证,校准的是什么?

校准曲线可以反映模型预测概率与实际发生概率之间的一致程度,那么“校准”曲线,校准的是什么?

通常用Hosmer-Lemeshow good of fit test(拟合优度检验)来评价预测模型的校准度。Hosmer-Lemeshow检验的基本思路如下:

  1. 首先根据预测模型来计算每个个体未来发生结局事件的预测概率;

  2. 根据预测概率从小到大进行排序,并按照十分位等分成10组;

  3. 分别计算各组的实际观测数和模型预测数,其中模型预测数,即每个人的预测概率*人数,再求总和,这里人数即为1,最后总和就相当于每个个体预测概率的直接加和;

  4. 根据每组实际观测数和模型预测数计算卡方值(自由度=8),再根据卡方分布得到对应的P值。

若所得的统计量卡方值越小,对应的P值越大,则提示预测模型的校准度越好。若检验结果显示有统计学显著性(P<0.05),则表明模型预测值和实际观测值之间存在一定的差异,模型校准度差。

详情可参考链接:https://zhuanlan.zhihu.com/p/35574120

这篇文章详细得介绍
https://www.iikx.com/news/statistics/11347.html
有其他问题,可以一起探讨