预测模型稳定性的验证方法有哪些?

预测模型稳定性的验证方法有哪些?在近期的咨询工作中,许多大夫想在统计分析之后做一个预测模型,以logistic回归分析为例,通常的做法是将回归模型的预测值保存后,用预测值和结果(因变量)做一个ROC(受试者工作曲线)分析,看AUC(曲线下面积)的大小。这种方法可以一定程度的说明模型的预测能力。从小编的实践经验来看,这种方法并不可取,首先自变量有统计学意义并不意味着有较好的预测能力,实际上如果没有把相关的重要影响因素纳入模型,这样做出来的模型预测能力很差,一般AUC在0.7以下,甚至很多在0.6以下;其次即使AUC较高,但做预测模型的数据和验证数据是同一个数据,属于内部验证,因此在实际应用中预测能力也没有想像的那么好。当然最好是做外部验证,即使用现有的数据建立模型,再收集一部分病例进行模型的验证,这种方法增加不少工作量。今天给大家介绍一下几个内部效度的方法。

半分法:把现有的数据随机分成两部分,一部分用于建立模型,另外一部分用来验证模型。通过半分法把数据分成两部分比较像的数据,进行“外部验证”,但由于只有一半的数据用来建立模型,模型相对不稳定。对于样本量较小的研究不适合使用。

交叉验证法:这种方法是半分法的进一步演化,常见的有半分交叉验证法和十分交叉验证法。半分交叉验证法即将原数据分为两部分,两部分数据相互依次作为建立模型和验证模型的数据,互相验证。十分交叉验证法即把数据分成10部分,用其中9部分数据做模型,另外1部分做验证,这样依次做10次模型和验证,可得到相对稳定的模型。

Bootstrap法:常规的Bootstrap内部效度分析的做法是多原数据中随机可放回地抽取一定的病例,用于建立模型,再使用原数据进行模型的验证;如此做500-1000次抽取、建立模型、验证模型的工作,可以得到500-1000个模型,可以总结模型的参数分布情况,确定最终的模型参数值。

Bootstrap法是近年来发展较快的一种方法,该方法在计算机计算量提升的背景下出现,有研究证明,该方法得到模型稳定性高于前面两种方法,可以推广应用到预测模型的内部效度分析中,该方法应用会越越多。当然如果有条件,我们还是建设所有的模型做外部验证,以提高模型在应用中的可靠性。

发表评论

匿名网友