Kaggle心血管疾病数据集实战：5种算法对比与投票法融合，准确率提升3%

Kaggle心血管疾病数据集实战：5种算法对比与投票法融合，准确率提升3%

心血管疾病预测一直是医疗数据分析中的经典课题。Kaggle上的心血管疾病数据集包含7万条记录和13个特征，为研究者提供了丰富的建模素材。本文将采用5种经典机器学习算法（逻辑回归、KNN、决策树、随机森林、随机梯度下降）进行对比实验，并通过投票法集成策略提升模型性能。实验结果显示，集成后的模型准确率比单一最佳模型提升了3%，F1分数提升2.8%。

1. 数据预处理与特征工程

高质量的数据预处理是模型成功的基础。原始数据集包含年龄、身高、体重、血压等13个特征，首先需要进行系统性的数据清洗：

import pandas as pd from sklearn.preprocessing import StandardScaler # 加载数据 df = pd.read_csv('cardio_data.csv', sep=';') # 异常值处理 df = df[(df['ap_hi'] > df['ap_lo']) & (df['height'] >= df['height'].quantile(0.025)) & (df['height'] <= df['height'].quantile(0.975))]

关键预处理步骤：

1. 血压逻辑校验：删除收缩压低于舒张压的记录
2. 身高体重过滤：移除前后2.5%的极端值
3. 年龄转换：将天数转换为年数
4. 特征衍生：计算BMI指数

# 特征工程 df['bmi'] = df['weight'] / (df['height']/100)**2 df['age_years'] = (df['age'] / 365).round().astype(int)

表1：特征相关性分析结果

提示：胆固醇和葡萄糖虽然是分类变量，但具有明确的等级关系，建议保留原始数值编码而非独热编码

2. 五种算法对比实验

采用相同训练集（80%）和测试集（20%）划分，使用Scikit-learn实现五种算法：

2.1 逻辑回归

from sklearn.linear_model import LogisticRegression lr = LogisticRegression(max_iter=1000) lr.fit(X_train, y_train) print(f"LR准确率: {lr.score(X_test, y_test):.3f}")

调参要点：

• 增加max_iter避免未收敛警告
• 使用L2正则化防止过拟合
• 类别不平衡时设置class_weight='balanced'

2.2 K近邻算法

from sklearn.neighbors import KNeighborsClassifier knn = KNeighborsClassifier(n_neighbors=15) knn.fit(X_train, y_train)

关键发现：

• 通过网格搜索确定最优K=15
• 欧式距离表现优于曼哈顿距离
• 特征缩放对KNN影响显著

2.3 决策树

from sklearn.tree import DecisionTreeClassifier dt = DecisionTreeClassifier(max_depth=5, min_samples_leaf=10) dt.fit(X_train, y_train)

优化策略：

• 限制max_depth控制过拟合
• 设置min_samples_leaf确保节点足够样本
• 使用特征重要性进行特征选择

2.4 随机森林

from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(n_estimators=200, max_features='sqrt') rf.fit(X_train, y_train)

优势分析：

• 内置特征重要性评估
• 对异常值不敏感
• 可并行化训练加速

2.5 随机梯度下降

from sklearn.linear_model import SGDClassifier sgd = SGDClassifier(loss='log_loss', early_stopping=True) sgd.fit(X_train, y_train)

适用场景：

• 大数据集下的高效训练
• 在线学习能力
• 灵活选择损失函数

表2：五种算法性能对比

3. 投票法集成策略

单一模型各有优劣，集成学习可以综合各模型优势。采用软投票策略，考虑各分类器的预测概率：

from sklearn.ensemble import VotingClassifier voting = VotingClassifier( estimators=[ ('lr', lr), ('rf', rf), ('dt', dt)], voting='soft') voting.fit(X_train, y_train)

集成效果分析：

• 准确率提升至0.758（+3%）
• F1分数提升至0.749（+2.8%）
• 对少数类的识别改善明显

注意：集成模型训练时间约为各子模型之和，需权衡性能提升与计算成本

4. 模型解释与业务应用

医疗领域模型需要可解释性。通过SHAP值分析特征重要性：

import shap explainer = shap.TreeExplainer(rf) shap_values = explainer.shap_values(X_test) shap.summary_plot(shap_values, X_test)

关键发现：

1. 年龄和收缩压是最重要预测因子
2. 胆固醇水平的影响呈阶梯式上升
3. BMI在过高区间才有显著影响

落地建议：

• 将模型部署为风险评估工具
• 重点关注高风险人群的干预
• 定期用新数据重新训练模型

在实际医疗场景中，这类预测模型应作为辅助决策工具而非最终诊断依据。模型输出的风险评估分数可与临床指标结合使用，为预防性医疗提供数据支持。