模型评价

R语言

机器学习

作者

不止BI

发布于

2024年4月11日

修改于

2024年6月11日

评估模型

二分类模型

对于二分类模型，评估模型的分类效果，两个办法。

可以用 AUC 指标或者 ROC 曲线。
可以用 Wilcoxon 检验，越显著表示分类效果越好。

先用mlr3构建模型

代码

library(mlr3verse)
# 创建任务
tsk_german_credit <- tsk("german_credit")
# 选择学习器
lrn_ranger <- lrn("classif.ranger", predict_type = "prob")
# 划分训练集测试集
split <- partition(tsk_german_credit, ratio = 0.6)
lrn_ranger$train(tsk_german_credit, row_ids = split$train)
prediction <- lrn_ranger$predict(tsk_german_credit, row_ids = split$test)

混淆矩阵

混淆矩阵（Confusion Matrix）是评估分类模型性能的一种工具，特别是在二分类和多分类问题中。它通过总结模型的预测结果与真实标签之间的关系，帮助我们理解模型的表现。

在二分类问题中，混淆矩阵通常有以下四个部分：

真正例（True Positive, TP）：模型正确预测为正类的样本数量。
假正例（False Positive, FP）：模型错误预测为正类的样本数量（实际上是负类）。
真负例（True Negative, TN）：模型正确预测为负类的样本数量。
假负例（False Negative, FN）：模型错误预测为负类的样本数量（实际上是正类）。

混淆矩阵的结构通常如下：

	真实
预测	正类	负类
正类	TP	FP
负类	FN	TN

代码

prediction$confusion

        truth
response good bad
    good  267  70
    bad    20  43

从混淆矩阵中，我们可以计算出以下指标:

准确率： $\frac{T P + T N}{T P + F N + F P + T N}$
精确率 (Precision) : $\frac{T P}{T P + F P}$ 。精确率帮助我们判断在模型预测为正类时，有多少比例是正确的。这对于需要高精确度的场景尤其重要，例如疾病筛查、垃圾邮件识别等。
召回率 (Recall 或 Sensitivity)： $\frac{T P}{T P + F N}$ ，表示所有实际正类中被正确分类的比例。
特异度 （Specificity）： $\frac{T N}{T N + F P}$ ，是真负类率（True Negative Rate），即正确预测为负的样本占所有实际负例的比例。它衡量了模型识别负类的能力。
假正类率（False Positive Rate, FPR）: $\frac{F P}{T N + F P}$ ，表示所有实际负类中被错误分类为正类的比例。

tpr、fpr、tnr 、fnr的分母都是实际值（实际正类或实际负类）

代码

measures <- msrs(c(
  "classif.acc",
  "classif.tpr",
  "classif.fpr",
  "classif.tnr",
  "classif.fnr",
  "classif.precision",
  "classif.recall",
  "classif.sensitivity",
  "classif.specificity"
))
prediction$score(measures)

        classif.acc         classif.tpr         classif.fpr         classif.tnr 
         0.77500000          0.93031359          0.61946903          0.38053097 
        classif.fnr   classif.precision      classif.recall classif.sensitivity 
         0.06968641          0.79228487          0.93031359          0.93031359 
classif.specificity 
         0.38053097

ROC 曲线和 AUC 值

ROC 曲线：
- ROC 曲线是一种图形表示，用于展示不同划分阈值设置下分类器的性能。它是真正类率（True Positive Rate, TPR）和假正类率（False Positive Rate, FPR）之间的二维图。
- ROC 曲线从左下角（0,0）开始，向右上方（1,1）结束。FPR=1-TNR，自然地，真正率和真负率越高，模型越好，即模型曲线越往左上凸，曲线下的面积越大，表示分类器的性能越好。

代码

autoplot(prediction, type = "roc")

AUC 值：
- AUC 是 area under curve 的缩写，是 ROC 曲线下的面积，范围从 0 到 1。AUC 值越高，表示模型的分类性能越好。
- 一个完美的分类器将具有 AUC 值为 1 的 ROC 曲线，而一个没有区分能力的分类器的 AUC 值接近 0.5，相当于随机猜测。

代码

prediction$score(msr("classif.auc"))

classif.auc 
  0.8014246

ROC 是 Receiver Operating Characteristic 简写。随机抽取 2000 个样本作为训练集，余下的数据作为测试集。

Wilcoxon 检验

Wilcoxon 检验是一种非参数统计方法，用于比较两组相关或独立样本的中位数。它常用于不符合正态分布假设的数据。根据样本的类型，Wilcoxon 检验主要有两种形式：

Wilcoxon 符号秩检验（Wilcoxon Signed-Rank Test）：
- 适用于配对样本或相关样本的情况。
- 例如，比较同一组样本在不同时间点的测量值。
- 该检验通过计算每个样本差值的秩，求出这些差值的符号秩和，从而判断中位数的差异。
Wilcoxon 秩和检验（Wilcoxon Rank-Sum Test）：
- 适用于独立样本的情况。
- 例如，比较两个不同组之间的测量值。
- 该检验将所有样本的值排序，然后计算两个组的秩和，并通过秩和的差异来判断组间中位数是否存在显著性差异。
使用情景：
当数据不满足正态分布假设，且样本量较小或者标度数据。
比较两组之间的中位数差异。

在处理二分类问题时，Wilcoxon 检验特别适合于小样本或者非正态分布的场景。

代码

wilcox.test(
  pred ~ real,
  data = data.frame(pred = prediction$prob[, 1], real = prediction$truth)
)


    Wilcoxon rank sum test with continuity correction

data:  pred by real
W = 25991, p-value < 2.2e-16
alternative hypothesis: true location shift is not equal to 0

回到顶部