各位先达大德，
在下刚接触机器学习两个月，在基于同一组临床数据利用R语言建立分类模型。我使用了ROC对各种不同分类算法得到的AUC进行比较评价。我也计算了sensitivity与specificity等指标。请问我是否有必要对不同模型间的AUC或者其他指标进行显著性验证来证明不同模型的分类能力有显著差异？如果要，使用哪种显著性比较方法较好？因为在下不确定AUC或其他指标是服从正态分布的。
望赐教！
Google scholar上也找不到相关资料，求大神开示。
朋友你好，我也遇到了同样的问题，我在R语言中找了好多个包，ROCR、plotROC都不可以进行显著性检验，只有pROC包一次可以比较两条线，但是如果多个模型就需要比较很多次，这样很麻烦。另外我找到了一个医学统计软件MedCalc，最多可以一次进行6个模型的两两比较，但是有时候也是不够用的。
我个人认为显著性比较是比较有说服力的，做比较比不做比较要好一些。
到底要不要进行比较？