机器学习特征工程实战：从原理到风电预测案例

1. 特征工程的核心价值与工作流程

在机器学习项目中，数据科学家们常把80%的时间花在数据准备和特征工程上。这就像厨师做菜前的食材处理阶段——再好的厨艺，如果食材没处理好，最终菜品也会大打折扣。特征工程正是将原始数据转化为机器学习模型能够"消化吸收"的高质量特征的过程。

我经手过的风电预测项目中，原始SCADA数据包含大量噪声和缺失值。通过系统的特征工程处理，模型准确率提升了37%，这比换用更复杂的算法带来的提升要显著得多。特征工程之所以重要，是因为它直接决定了：

• 模型能够获取的信息质量
• 算法对数据规律的捕捉能力
• 最终业务指标的可实现上限

典型的特征工程工作流包含五个关键阶段：

1. 数据理解与探索分析
2. 缺失值与异常值处理
3. 特征变换与构造
4. 特征选择与降维
5. 特征存储与监控

重要提示：特征工程不是一次性工作，而需要随着业务变化和数据分布漂移持续迭代。我在能源行业的一个项目就曾因为忽视特征监控，导致模型效果在三个月后显著下降。

2. 数据理解与探索分析

2.1 数据质量诊断

拿到原始数据后的第一步是进行全面"体检"。我习惯使用Python的Pandas Profiling生成自动化报告：

from pandas_profiling import ProfileReport profile = ProfileReport(df, title="数据质量报告") profile.to_file("report.html")

这份报告会显示：

• 缺失值比例及分布
• 数值特征的统计描述（均值、分位数、偏度等）
• 类别特征的基数分布
• 特征间相关性热图

在金融风控项目中，我曾发现某个关键字段的缺失模式与欺诈行为高度相关，这直接引导我们创建了新的风险指标。

2.2 特征分布分析

不同分布的特征需要差异化的处理策略。常用可视化工具包括：

• 直方图（连续变量）
• 箱线图（离群值检测）
• Q-Q图（分布对比）

import seaborn as sns import matplotlib.pyplot as plt # 绘制特征分布矩阵 sns.pairplot(df[['age', 'income', 'spending']]) plt.savefig('feature_dist.png', dpi=300)

对于风电数据，我发现功率输出特征存在明显的双峰分布，这对应了涡轮机的两种运行模式。如果不识别这种特性，直接标准化会导致信息损失。

3. 缺失值与异常值处理

3.1 智能填补缺失值

缺失值处理没有放之四海皆准的方法，需要根据数据特性选择：

在医疗数据项目中，我们发现某些检测值的缺失与患者病情相关，这时简单的均值填补反而会引入偏差。

3.2 异常值检测与处理

异常值可能是噪声也可能是重要信号。我常用的检测方法包括：

• IQR法（适用于中等维度数据）
• 隔离森林（高维数据）
• DBSCAN聚类（空间数据）

from sklearn.ensemble import IsolationForest clf = IsolationForest(contamination=0.05) outliers = clf.fit_predict(X) clean_data = X[outliers == 1]

实践心得：在工业设备预测性维护中，异常值往往对应故障前兆。我们开发了双阈值策略——既过滤明显错误记录，又保留潜在异常模式。

4. 特征变换与构造

4.1 数值特征标准化

不同算法对特征尺度敏感度不同：

from sklearn.preprocessing import RobustScaler scaler = RobustScaler() X_scaled = scaler.fit_transform(X[['temp', 'pressure']])

4.2 类别特征编码

根据特征基数和算法需求选择编码方式：

• One-Hot编码（低基数，<20个类别）
• Target Encoding（高基数类别）
• Embedding（深度学习场景）

# 目标编码示例 from category_encoders import TargetEncoder encoder = TargetEncoder() X['city_encoded'] = encoder.fit_transform(X['city'], y)

在电商推荐系统中，我们为百万级商品ID开发了分层目标编码方案，既保留了类别信息又控制了维度爆炸。

4.3 时间特征分解

时间戳中常隐藏着重要模式：

df['hour'] = df['timestamp'].dt.hour df['day_of_week'] = df['timestamp'].dt.dayofweek df['is_weekend'] = df['day_of_week'] >= 5

在交通预测项目中，我们发现将时间转换为周期性坐标（sin/cos变换）能显著提升模型对时间模式的捕捉能力。

4.4 交互特征构造

好的交互特征如同化学中的催化剂。常用构造方法：

• 四则运算特征（A+B, A/B等）
• 分组统计特征（用户历史平均消费）
• 业务特定组合（转化率=点击量/曝光量）

# 创建多项式特征 from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, interaction_only=True) X_poly = poly.fit_transform(X[['age', 'income']])

5. 特征选择与降维

5.1 过滤式选择

基于统计指标快速筛选：

• 方差阈值（移除低方差特征）
• 卡方检验（分类任务）
• 互信息（非线性关系）

from sklearn.feature_selection import SelectKBest, mutual_info_classif selector = SelectKBest(mutual_info_classif, k=20) X_new = selector.fit_transform(X, y)

5.2 嵌入式选择

利用模型自身进行特征选择：

• L1正则化（线性模型）
• 特征重要性（树模型）
• SHAP值（模型解释）

from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier() model.fit(X, y) importance = model.feature_importances_

5.3 降维技术

当特征高度相关时，降维能提升模型效率：

• PCA（线性降维）
• t-SNE（可视化）
• UMAP（保留局部结构）

from umap import UMAP reducer = UMAP(n_components=10) X_embedded = reducer.fit_transform(X)

在基因组数据分析中，UMAP帮助我们发现了传统方法未能识别的患者亚群。

6. 特征存储与监控

6.1 特征存储方案

生产环境需要考虑特征一致性：

我们开发的金融风控系统采用混合架构：

• 批量特征存入HBase
• 实时特征通过Flink计算
• 统一通过特征服务层访问

6.2 特征漂移监控

数据分布变化是模型衰退的主因。监控指标包括：

• 统计检验（KS检验）
• 特征重要性变化
• 预测结果分布变化

from scipy.stats import ks_2samp def monitor_drift(reference, current): alerts = [] for col in reference.columns: stat, p = ks_2samp(reference[col], current[col]) if p < 0.01: alerts.append(col) return alerts

在广告CTR预测中，我们设置了自动化的特征漂移预警机制，当关键特征KS值>0.03时触发模型重训练。

7. 完整案例：风电功率预测特征工程

7.1 数据特性分析

某风电场SCADA数据包含：

• 环境数据（风速、温度、气压）
• 设备状态（桨距角、转速）
• 维护记录（故障代码）

通过探索分析发现：

• 风速与功率呈非线性关系（风机特性曲线）
• 某些传感器存在5%左右的缺失
• 不同涡轮机存在系统偏差

7.2 关键特征构造

1. 物理公式特征：

df['wind_power'] = 0.5 * 1.225 * df['wind_speed']**3

2. 设备相对特征：

df['speed_diff'] = df['rotor_speed'] - df.groupby('turbine_id')['rotor_speed'].transform('median')

3. 时间窗口特征：

df['rolling_avg'] = df.groupby('turbine_id')['power'].rolling(6).mean().values

7.3 效果验证

通过特征工程：

• 模型RMSE降低29%
• 极端功率预测准确率提升41%
• 模型训练时间减少35%（因去除冗余特征）

关键发现：构造的"风速变化趋势"特征（10分钟滑动窗口）对预测短期功率波动至关重要。