如何监控AI计算结果的质量

如何监控AI计算结果的质量,一般有什么好的实践,避免计算结果不好影响生产环境

在进行测试的时候就要进行训练,通过训练集和测试集的误差调整训练模型,通过结果进行反馈调整模型,实践的时候也要通过结果反馈,及时止损

1)根据问题选择 评价指标,常用的如:绝对误差和SAD(Sum of Absolute Difference),均方误差MSE(Mean Squared Error),梯度误差(Gradient error),平均绝对误差MAD(Mean Absolute Difference)
2)样本集划分为 训练集合 与 测试集合,训练集合用于建立模型和计算模型参数,测试集合用于检验模型预测性能,以免过拟合
3)使用模型进行预测时,如果在预测之后还可以获得实际输出值(这是常见的应用情况,虽然当时不能得到输出值,需要使用模型预测,但此后还是可以得到实际输出值,也只有这样才谈得上模型的精度),在得到实际输出值后与对应的输入值构成新的样本,用于模型训练校正模型参数,即构造自学习模型
4)使用实际样本构造自学习模型,使用加权法或滑动平均,即近期的数据样本具有较大的权值。

主要是测试吧就,对不同算法训练出的模型预测效果进行评估,测试其泛化能力。常用的测试方法有:蜕变测试,即根据公式特点,特定变换数据,进行结果比较,如类别标签乱序、属性乱序、增加无信息属性、一致重复预测等;大数据ETL测试;特征指标分析;模型效果评测,专业指标评测(KS、PSI、精确率、召回率、AUC、F1 Score等),可以考虑以这些作为参考指标来保证AI计算结果的满意程度

如果是Python的话可以用score函数

具体看你算法是分类,还是回归

通过线性拟合

机器学习相关的验证方法都可以使用,也可以先让一小部分用户先体验功能得到一定的数据再修正

1)根据问题选择 评价指标,常用的如:绝对误差和SAD(Sum of Absolute Difference),均方误差MSE(Mean Squared Error),梯度误差(Gradient error),平均绝对误差MAD(Mean Absolute Difference)
2)样本集划分为 训练集合 与 测试集合,训练集合用于建立模型和计算模型参数,测试集合用于检验模型预测性能,以免过拟合
3)使用模型进行预测时,如果在预测之后还可以获得实际输出值(这是常见的应用情况,虽然当时不能得到输出值,需要使用模型预测,但此后还是可以得到实际输出值,也只有这样才谈得上模型的精度),在得到实际输出值后与对应的输入值构成新的样本,用于模型训练校正模型参数,即构造自学习模型
4)使用实际样本构造自学习模型,使用加权法或滑动平均,即近期的数据样本具有较大的权值