19 应用案例分析之模型评估与选择

查看大图

模型评估也是概率问题：预测分数、阈值和错误代价一起决定模型是否可用。

查看大图

我会把指标和业务代价放在一起。只看准确率，容易忽略类别不均衡和关键错误。

在前一篇“应用案例分析之实用数据分析案例”中，我们探讨了如何通过数据清理和分析来提取有价值的信息。本篇将聚焦于模型评估与选择，这是AI模型构建过程中的关键环节。

模型评估的必要性

在构建预测模型之后，评估模型的性能是至关重要的，它将帮助我们判断模型是否有效，能否在实际应用中取得好的结果。模型评估通常依赖于一些指标，这些指标可以帮助我们比较不同模型的性能，并选择最优的模型。

模型评估指标

在进行模型评估时，有几个常见的指标，依赖于任务类型（回归或分类）：

1. 分类模型评估指标

• 准确率（Accuracy）: 正确分类的样本占总样本的比例。

  $$\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$$

• 查准率（Precision）: 模型预测为正例中，实际为正例的比例。

  $$\text{Precision} = \frac{TP}{TP + FP}$$

• 查全率（Recall）: 实际正例中，模型正确预测为正例的比例。

  $$\text{Recall} = \frac{TP}{TP + FN}$$

• F1值: 查准率与查全率的调和平均值。

  $$F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$$

2. 回归模型评估指标

• 均方误差（MSE）: 预测值与实际值差异的平方的平均值。

  $$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

• 均方根误差（RMSE）: MSE的平方根，表示误差的标准差。

  $$RMSE = \sqrt{MSE}$$

• 决定系数（R²）: 解释方差的比例，越接近1表示模型越好。

  $$R^2 = 1 - \frac{SS_{res}}{SS_{tot}}$$

模型选择

在模型评估结束后，我们需根据评估结果选择最优模型。通常使用的方法包括：

查看大图

分析模型评估与选择案例时，先看数据划分、指标组合、误判代价、稳定性、解释需求和最终选择理由。

1. 交叉验证: 将数据集分为训练集和测试集，使用交叉验证技术减少模型的过拟合。

2. AIC/BIC准则: 用于复杂模型的比较，选择信息准则值最小的模型。

3. 学习曲线: 通过绘制模型的训练和验证损失随样本数增减的变化，判断模型是否存在高方差或高偏差的问题。

案例分析

我们通过 sklearn 库来实现一个简单的分类模型，并对其进行评估。

查看大图

《应用案例分析之模型评估与选择》可以按“场景、概念、动作、结果”来读。先把这四件事对齐，再回到正文里的参数、代码或流程。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 载入数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建随机森林模型
model = RandomForestClassifier()
model.fit(X_train, y_train)

# 进行预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, average='weighted')
recall = recall_score(y_test, y_pred, average='weighted')
f1 = f1_score(y_test, y_pred, average='weighted')

print(f'准确率: {accuracy:.2f}')
print(f'查准率: {precision:.2f}')
print(f'查全率: {recall:.2f}')
print(f'F1值: {f1:.2f}')

在这一段代码中，我们使用RandomForestClassifier模型进行分类，并通过accuracy_score、precision_score、recall_score和f1_score等指标对模型进行评估。输出的准确性、查准率、查全率和F1值将帮助我们理解该模型在新数据上的表现。

查看大图

如果《应用案例分析之模型评估与选择》还没完全消化，可以从这张卡片的四个动作重新走一遍。

查看大图

回看《应用案例分析之模型评估与选择》时，不必一次做大项目，先用一条简单样例确认主线是否清楚。

小结

通过上述的模型评估指标和选择方法，我们可以合理地判断和选择适合我们数据集与任务的最佳模型。做好模型评估与选择，将为我们后续的学习和应用打下坚实的基础。在下一篇中，我们将探讨进一步学习的资源和技巧，帮助大家不断提升在AI领域的能力与知识。