数据预处理不是写代码，而是给数据做外科手术

1. 这不是“写代码”，而是给数据做体检：为什么90%的模型失败都栽在预处理上

“Data Preprocessing Concepts with Python”——光看标题，很多人会下意识划走：又是一篇讲pandas.fillna()和sklearn.StandardScaler()的教程？但干过三年以上真实项目的老手心里都清楚：模型上线后效果崩盘，83%的问题出在预处理环节，而不是算法本身。我去年帮一家医疗影像公司优化肺结节检测模型，调参花了两周，最后发现是训练集里27%的CT扫描图像在预处理阶段被错误地做了灰度归一化，把早期微小钙化点的对比度直接压平了——这个bug藏在预处理脚本第417行一个没加注释的clip()操作里，整整埋了五个月。Python在这里不是编程语言，而是一套精密的“数据外科手术刀”，而preprocessing概念，就是主刀医生必须熟记的解剖图谱、无菌规范和止血节奏。它解决的从来不是“怎么写代码”，而是“数据在进入模型前，是否还保留着它原本想告诉你的真相”。适合谁？刚学完pandas基础、正对着Kaggle入门赛提交0.65准确率却摸不着头脑的新手；也适合带团队做金融风控建模、发现特征工程结果在生产环境漂移严重的架构师；甚至适合产品经理——当你听算法同事说“这个需求没法做”，大概率他真正想说的是“原始数据质量达不到预处理的最低手术标准”。接下来的内容，不会教你背函数参数，而是带你拆开预处理流水线的每一颗螺丝，看清为什么删掉一行缺失值可能比换十个模型更重要，为什么标准化的顺序错一步，整个特征空间就塌方。

2. 预处理不是线性流水线，而是一张动态校准网：核心设计逻辑拆解

2.1 为什么不能按教科书顺序机械执行：从“清洗→标准化→编码”到“问题驱动式校准”

几乎所有入门教程都把预处理画成一条直线：加载数据→处理缺失值→处理异常值→标准化→编码分类变量→分割数据集。这就像教人修车时只说“先拧螺丝A，再拧螺丝B”，却不说“如果发动机在抖动，你得先检查螺丝C的扭矩是否超标”。真实场景中，预处理各环节存在强耦合与反馈回路。举个典型例子：某电商用户行为日志中，“下单时间”字段有12%缺失。若按教科书先做缺失值填充（比如用众数填充“2023-01-01 00:00:00”），后续做时间特征工程（如提取“距最近促销活动小时数”）时，这些伪造时间会批量生成错误的负值特征，导致模型学到“越早下单越可能成交”的虚假规律。正确做法是：先分析缺失模式——发现缺失集中在凌晨2-5点，且对应设备ID多为安卓旧机型，于是推断是客户端SDK崩溃导致日志丢失；此时填充策略应改为“用同一用户前一次有效下单时间+12小时”（业务逻辑约束），而非统计填充。这说明预处理设计必须以业务问题为起点，而非技术操作为终点。我团队现在强制要求所有预处理脚本开头必须写三行注释：① 该步骤要解决的具体业务风险（如“防止因时间戳伪造导致的周期性特征污染”）；② 失败时的可验证指标（如“填充后‘距促销小时数’负值比例<0.1%”）；③ 回滚方案（如“若负值超阈值，自动切换至中位数填充并告警”）。这种设计让预处理从“代码任务”升级为“风险控制协议”。

2.2 “不可逆操作”清单：哪些步骤一旦执行就永远无法还原真相？

预处理中存在一类危险操作，它们像手术中的截肢——执行后原始信息永久丢失，且无法通过任何数学变换复原。新手常踩的坑是把这些操作放在pipeline前端，导致后续调试时连问题根源都找不到。核心不可逆操作有三类：

1. 离散化（Binning）：将连续变量如“用户年龄”切分为[0-18,19-35,36-50,51+]四档。问题在于：35岁和36岁用户被强行划入不同类别，但业务上他们消费能力可能完全一致；更致命的是，当模型上线后发现35-36岁人群转化率突变，你已无法回溯原始年龄分布来验证是否是数据采集偏差。解决方案：除非业务规则强制要求（如法律定义的“未成年人”），否则优先用分位数缩放（QuantileTransformer）或高斯核密度估计保留分布形态。

2. 硬阈值截断（Hard Clipping）：对“订单金额”设上下限（如<1元或>10万元视为异常），直接赋值为边界值。某支付公司曾因此漏掉一批高频小额测试交易（0.01元），这些交易本是黑产团伙的探针行为，截断后特征全部变成1元，模型再也无法识别。正确做法：用IQR（四分位距）法标记异常值，但保留原始值，仅在特征工程层添加“是否为IQR异常”布尔特征。

3. 随机采样（Random Sampling）：为平衡类别而随机删除多数类样本。这直接破坏数据生成机制——假设欺诈交易占比0.3%，你删掉90%正常交易使数据集变为1:1，模型学到的“欺诈模式”其实是“被随机选中的正常交易的某种偶然共性”。我们现在线上系统强制要求：若需降采样，必须用SMOTE等合成少数类方法，并在特征重要性分析中单独标注“该特征在SMOTE增强样本上的权重”。

提示：所有不可逆操作必须在代码中用大写字母加注释标出，例如# DANGEROUS: HARD CLIPPING ON order_amount - ORIGINAL DATA LOST，并在CI/CD流程中设置检查点，禁止在生产环境pipeline中出现未授权的不可逆操作。

2.3 预处理的“时空一致性”原则：为什么训练集和线上服务必须用同一套校准器？

很多团队把预处理当成一次性工作：在Jupyter里跑通就导出模型。结果上线后模型效果暴跌。根本原因在于违反了“时空一致性”——训练时用的标准化参数（均值、标准差）和线上服务时的参数不一致。举个血泪案例：某物流ETA预测模型，训练时用全量历史订单计算出“平均配送时长=3.2小时，标准差=1.8小时”，但线上服务时新接入的城郊线路订单，其真实均值是5.7小时。若服务端仍用3.2/1.8做标准化，输入特征被严重压缩，模型输出的ETA直接偏移2小时以上。解决方案不是“重新训练”，而是固化校准器（Calibrator）：

• 训练阶段：用StandardScaler().fit(train_data)生成校准器对象，立即序列化保存（joblib.dump）；
• 线上服务：加载同一份校准器文件，调用transform()而非fit_transform()；
• 监控机制：每小时用最新1000条线上数据校验校准器参数漂移（如当前均值与训练均值偏差>15%则触发告警）。
  我们甚至把校准器版本号写进模型元数据，确保每次AB测试都能追溯到精确的预处理快照。这比模型版本管理更重要——因为坏的预处理能让SOTA模型表现不如决策树。

3. 核心细节解析：从代码表象到业务本质的七层穿透

3.1 缺失值处理：别再问“用均值还是中位数”，先问“缺失是否携带业务信号？”

缺失值从来不是技术噪音，而是业务系统的求救信号。某银行信用卡审批数据中，“月均消费额”字段缺失率达38%。若粗暴填充均值，会掩盖关键业务事实：经交叉分析发现，缺失用户全部是刚激活卡片<7天的新客，而他们的“首笔交易金额”字段完整率100%。此时缺失值本身就是强特征——它精准标识了“新客冷启动期”。我们直接创建新特征is_new_customer = (monthly_spend.isnull())，该特征在XGBoost中重要性排第三。更进一步，对新客群体，我们改用“首笔交易金额×1.5”作为月均消费的代理值（业务逻辑：新客首笔多为试探性小额，实际月均约1.5倍），比全局均值填充提升AUC 0.023。

实操要点：

• 缺失模式分析三步法：① 统计缺失率（df.isnull().mean()）；② 检查缺失是否集中于某几列（df.isnull().sum(axis=1).value_counts()）；③ 关联业务字段（如缺失行在user_age<18中占比是否异常）。
• 填充策略决策树：

  缺失是否随机？ → 否 → 检查是否与业务状态强相关（如"shipping_address"缺失率在"virtual_product"品类中达92%）→ 是 → 创建缺失指示特征 ↓ 是 字段是否为时间序列？ → 是 → 用前向填充（ffill）+业务约束（如"last_login_time"不能晚于"current_time"） ↓ 否 字段是否为ID类？ → 是 → 用特殊占位符（如"UNKNOWN_ID"）并编码为-1 ↓ 否 字段是否为数值型？ → 是 → 用中位数（对异常值鲁棒）而非均值

3.2 异常值检测：IQR和Z-Score只是起点，业务规则才是终点

Z-Score>3就删？IQR上限外就截断？这是预处理最大的认知陷阱。某电商平台“单日点击量”字段，Z-Score达12的用户有237个，人工核查发现全是营销活动期间的KOC（关键意见消费者），他们的真实行为就是高频点击。若按统计规则剔除，模型将永远学不到“高价值用户活跃模式”。正确做法是双轨制异常检测：

• 统计轨：用IQR识别分布尾部（如点击量>99.5%分位数）；
• 业务轨：用规则引擎标记（如user_type=='KOC' and campaign_active==True）；
• 融合决策：仅当同时满足“统计异常”且“非业务异常”时才处理。

我们开发了一个轻量级规则库：

# business_rules.py RULES = { "click_count": [ {"condition": "user_type == 'KOC'", "action": "ignore"}, {"condition": "device_os == 'iOS' and app_version < '5.2'", "action": "cap_at_5000"} ], "transaction_amount": [ {"condition": "merchant_category == 'government_fee'", "action": "allow_up_to_100000"} ] }

预处理时先执行业务规则，再对剩余数据用统计方法。这套机制让异常值误杀率从31%降至2.4%。

3.3 分类变量编码：LabelEncoder不是万能钥匙，Target Encoding要防数据泄露

新手最爱用LabelEncoder给城市名编码（北京=0，上海=1...），但这是灾难性错误——模型会误认为“上海比北京大1”，强行引入不存在的序数关系。更隐蔽的坑是TargetEncoder（用目标变量均值编码），若在交叉验证中未做分组编码，会导致严重数据泄露。某信贷模型用未分组TargetEncoder，AUC虚高0.15，上线后AUC跌至0.62。正确姿势：

• 低基数分类变量（<10类）：用One-Hot编码，但需注意稀疏性——对“省份”这类地理变量，合并邻近省份（如华东三省合并）可减少维度；
• 高基数分类变量（>100类）：用TargetEncoding，但必须在CV每折内独立拟合，且添加平滑项：

  # 平滑版TargetEncoder（避免小样本类别噪声） smooth = 10 # 平滑因子，经验值 global_mean = y.mean() encoded = (group.sum() + global_mean * smooth) / (group.count() + smooth)

• 时序敏感变量（如“用户最近登录城市”）：用Frequency Encoding（频次编码），因为高频城市往往代表稳定用户，本身含业务意义。

3.4 时间特征工程：别只提“年月日”，要挖“业务生命周期刻度”

pd.to_datetime(df['date']).dt.month这种操作毫无价值。真正的时间特征必须锚定业务周期。某SaaS公司分析客户流失，发现单纯用“注册月份”无区分度，但转换为“距最近财报季月份数”后，特征重要性飙升。我们建立了一套业务时间刻度映射表：

3.5 文本预处理：停用词表不是标配，是需要持续迭代的业务词典

用NLTK停用词表处理客服对话？你会删掉“不行”“拒绝”“投诉”这些关键否定词。某银行客服文本中，“额度”“临时”“提额”是高频词，但业务上“临时额度”和“固定额度”风险差异巨大，通用分词器会把它们切开。解决方案：

• 构建领域停用词表：从历史工单中提取高频无意义词（如“您好”“谢谢”“请问”），但保留所有业务动词（“冻结”“解冻”“挂失”）；
• 业务实体识别：用spaCy训练定制NER模型，识别“信用卡号”“身份证号”“交易流水号”并统一脱敏为[CARD_ID]；
• 语义增强：对“额度不够”“限额太低”“刷不了”等表达，用同义词扩展为统一标签low_limit_complaint。
  我们维护的金融领域停用词表已迭代17版，最新版加入“银保监”“金管局”等监管机构简称——因为用户投诉中常出现“银保监说你们违规”。

3.6 特征缩放：标准化不是目的，是让梯度下降“看得清路”

为什么StandardScaler比MinMaxScaler更常用？不是因为数学更美，而是梯度下降的物理现实。想象模型训练是盲人在山谷中找最低点：MinMaxScaler把所有特征压缩到[0,1]，相当于把山谷压成一张薄纸，盲人（梯度）在纸面上根本感觉不到坡度变化；而StandardScaler让各特征方差接近1，相当于恢复山谷真实起伏，梯度能清晰感知下降方向。某推荐系统用MinMaxScaler后，学习率必须调到0.0001才能收敛，换成StandardScaler后0.01即可，训练速度提升8倍。但注意例外：树模型（XGBoost/LightGBM）不需要缩放——因为它们基于特征排序分裂，与绝对数值无关。实操铁律：缩放只在使用距离/梯度类模型（LR/SVM/NN）前执行，且必须在train/test split之后，仅用训练集参数拟合。

3.7 数据泄露的七种隐形态：你以为的安全，可能是最深的坑

数据泄露是预处理中最难察觉的杀手。我们总结出七种高发形态：

1. 时间穿越泄露：用未来数据（如“2023年12月的用户留存率”）预测“2023年11月的购买行为”；
2. 聚合泄露：计算“用户历史平均订单额”时，包含当前订单本身；
3. 分组泄露：用GroupKFold时，同一用户的多个样本被分到不同折，导致验证集看到训练集的用户模式；
4. 编码泄露：LabelEncoder在全量数据上拟合，再分别用于train/test；
5. 缩放泄露：StandardScaler().fit_transform(train_data)后，对test_data用fit_transform()而非transform()；
6. 特征工程泄露：用rolling_mean(window=7)计算移动平均时，window包含未来日期；
7. 采样泄露：SMOTE合成样本时，用全量数据而非仅训练集。

防御方案：我们强制所有预处理函数接受is_training参数，并内置泄露检查：

def safe_rolling_mean(series, window=7, is_training=True): if not is_training: # 生产环境只允许用历史数据计算 return series.rolling(window=window).mean().shift(1) return series.rolling(window=window).mean()

4. 实操过程全记录：从原始CSV到可部署Pipeline的12个关键节点

4.1 节点1：数据契约校验（Data Contract Validation）

预处理第一步不是写代码，而是读文档。我们要求所有数据源必须提供JSON Schema契约文件，包含字段名、类型、业务含义、允许空值、取值范围。某次接入第三方天气API，契约声明temperature_celsius为float且-50<=x<=50，但实际返回"N/A"字符串。若跳过契约校验，后续所有数值运算都会报错。实操脚本：

import jsonschema from jsonschema import validate schema = { "type": "object", "properties": { "temperature_celsius": { "type": ["number", "null"], "minimum": -50, "maximum": 50 } }, "required": ["temperature_celsius"] } # 加载数据后立即校验 try: validate(instance=df.iloc[0].to_dict(), schema=schema) except jsonschema.ValidationError as e: raise ValueError(f"Data contract violation at row 0: {e.message}")

此步骤拦截了我们72%的数据质量问题。

4.2 节点2：缺失值热力图与模式聚类

用missingno.matrix(df)只能看缺失分布，我们升级为缺失模式聚类分析：

import seaborn as sns from sklearn.cluster import KMeans # 构建缺失模式矩阵（1=缺失，0=存在） missing_matrix = df.isnull().astype(int) # 对缺失模式做KMeans聚类（k=3） kmeans = KMeans(n_clusters=3, random_state=42) clusters = kmeans.fit_predict(missing_matrix) # 可视化：每簇的缺失热力图 for i in range(3): cluster_data = missing_matrix[clusters == i] plt.figure(figsize=(10, 4)) sns.heatmap(cluster_data.T, cbar=False, yticklabels=False) plt.title(f"Missing Pattern Cluster {i} (n={cluster_data.shape[0]})") plt.show()

某次分析发现Cluster 0（占23%样本）呈现“address+phone+email全缺失”，结合业务知识确认为匿名试用用户，于是创建is_anonymous_trial特征。

4.3 节点3：异常值业务规则引擎注入

将3.2节的业务规则库集成到预处理流水线：

def apply_business_rules(df, rules_config): for col, rules in rules_config.items(): if col not in df.columns: continue for rule in rules: mask = df.eval(rule["condition"]) # 安全执行业务条件 if rule["action"] == "ignore": pass # 标记为业务异常，不处理 elif rule["action"].startswith("cap_at_"): cap_val = float(rule["action"].split("_")[-1]) df.loc[mask, col] = df.loc[mask, col].clip(upper=cap_val) return df # 注入规则 df = apply_business_rules(df, RULES)

4.4 节点4：分类变量基数动态路由

自动选择编码策略：

def smart_encode_categorical(df, col, target_col=None, threshold=10): n_unique = df[col].nunique() if n_unique < threshold: # One-Hot编码 return pd.get_dummies(df[col], prefix=col) elif target_col and n_unique < 100: # Target Encoding（带平滑） global_mean = df[target_col].mean() agg = df.groupby(col)[target_col].agg(['sum', 'count']) smooth = 10 encoded = (agg['sum'] + global_mean * smooth) / (agg['count'] + smooth) return df[col].map(encoded).fillna(global_mean) else: # Frequency Encoding freq_map = df[col].value_counts(normalize=True) return df[col].map(freq_map) # 应用 for col in categorical_cols: encoded_df = smart_encode_categorical(df, col, 'is_fraud')

4.5 节点5：时间特征业务刻度生成

def generate_business_time_features(df, time_col): df[time_col] = pd.to_datetime(df[time_col]) features = {} # 距618天数（电商） features['days_to_618'] = abs((df[time_col] - pd.Timestamp('2023-06-18')).dt.days) # 学期阶段（教育） month = df[time_col].dt.month features['semester_phase'] = np.select( [month.isin([9,10,11,12]), month.isin([1,2])], ['semester_start', 'exam_period'], default='normal' ) return pd.DataFrame(features) df = pd.concat([df, generate_business_time_features(df, 'order_time')], axis=1)

4.6 节点6：文本特征业务词典增强

# 加载金融领域词典 with open('finance_keywords.json') as f: keywords = json.load(f) # {"credit_limit": ["额度", "信用额度"], "fraud": ["盗刷", "伪卡"]} def enhance_text_features(text_series): features = {} for keyword, synonyms in keywords.items(): pattern = '|'.join(synonyms) features[f'has_{keyword}'] = text_series.str.contains(pattern, case=False, na=False) return pd.DataFrame(features) df = pd.concat([df, enhance_text_features(df['complaint_text'])], axis=1)

4.7 节点7：特征缩放器固化与版本管理

from joblib import dump, load # 训练阶段 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train[numeric_cols]) # 固化校准器 dump(scaler, 'scaler_v20231015.joblib') # 生产阶段 scaler = load('scaler_v20231015.joblib') X_prod_scaled = scaler.transform(X_prod[numeric_cols])

4.8 节点8：预处理流水线封装（Scikit-learn风格）

from sklearn.base import BaseEstimator, TransformerMixin class BusinessPreprocessor(BaseEstimator, TransformerMixin): def __init__(self, rules_config=None, target_col=None): self.rules_config = rules_config or RULES self.target_col = target_col self.scaler = None self.encoders = {} def fit(self, X, y=None): # 业务规则不需fit # 分类变量编码器fit for col in categorical_cols: self.encoders[col] = smart_encode_categorical(X, col, self.target_col) # 数值缩放器fit self.scaler = StandardScaler() self.scaler.fit(X[numeric_cols]) return self def transform(self, X): X = X.copy() # 应用业务规则 X = apply_business_rules(X, self.rules_config) # 应用编码 for col in categorical_cols: X = pd.concat([X, smart_encode_categorical(X, col)], axis=1) # 应用缩放 X[numeric_cols] = self.scaler.transform(X[numeric_cols]) return X # 使用 preprocessor = BusinessPreprocessor(target_col='is_fraud') X_train_processed = preprocessor.fit_transform(X_train, y_train)

4.9 节点9：预处理效果量化评估

每个预处理步骤必须输出可量化的效果报告：

def evaluate_preprocessing_step(original_df, processed_df, step_name): report = { "step": step_name, "rows_dropped": len(original_df) - len(processed_df), "features_added": len(processed_df.columns) - len(original_df.columns), "missing_rate_before": original_df.isnull().mean().mean(), "missing_rate_after": processed_df.isnull().mean().mean(), "memory_usage_mb_before": original_df.memory_usage(deep=True).sum() / 1024**2, "memory_usage_mb_after": processed_df.memory_usage(deep=True).sum() / 1024**2, } # 特征重要性变化（用LightGBM快速评估） if 'target' in processed_df.columns: model = lgb.LGBMRegressor(n_estimators=10) model.fit(processed_df.drop('target', axis=1), processed_df['target']) report["top_feature_change"] = model.feature_importances_[0] return report report = evaluate_preprocessing_step(raw_df, processed_df, "BusinessPreprocessor_v2") print(json.dumps(report, indent=2))

4.10 节点10：预处理漂移监控（Production Monitoring）

线上服务每小时运行：

def check_drift(current_batch, reference_scaler, drift_threshold=0.15): # 计算当前批次数值特征均值 current_means = current_batch[numeric_cols].mean() ref_means = reference_scaler.mean_ # 从固化校准器获取 # 计算相对漂移 drift_scores = np.abs((current_means - ref_means) / ref_means) drifted_features = drift_scores[drift_scores > drift_threshold].index.tolist() if drifted_features: alert(f"Drift detected in features: {drifted_features}") # 触发重校准流程 new_scaler = StandardScaler().fit(current_batch[numeric_cols]) dump(new_scaler, 'scaler_v20231016_recalibrated.joblib') return drifted_features # 每小时执行 drifted = check_drift(latest_hour_data, loaded_scaler)

4.11 节点11：预处理单元测试（Pytest）

def test_missing_pattern_clustering(): # 构造测试数据：两组明确缺失模式 test_df = pd.DataFrame({ 'A': [1, 2, np.nan, np.nan], 'B': [np.nan, np.nan, 3, 4], 'C': [5, 6, 7, 8] }) clusters = detect_missing_patterns(test_df) assert len(set(clusters)) == 2 # 应聚为两类 def test_business_rule_cap(): test_df = pd.DataFrame({'click_count': [100, 5000, 20000, 150000]}) result = apply_business_rules(test_df, {'click_count': [{'condition': 'True', 'action': 'cap_at_100000'}]}) assert result['click_count'].max() == 100000

4.12 节点12：预处理文档自动生成

def generate_preprocessing_doc(df, steps): """根据执行步骤自动生成Markdown文档""" doc = "# 预处理文档\n\n" doc += "## 数据概览\n" doc += f"- 行数：{len(df)}\n" doc += f"- 列数：{len(df.columns)}\n" doc += f"- 缺失率：{df.isnull().mean().mean():.2%}\n\n" doc += "## 执行步骤\n" for i, step in enumerate(steps, 1): doc += f"### {i}. {step['name']}\n" doc += f"- 描述：{step['description']}\n" doc += f"- 参数：{step['params']}\n" doc += f"- 影响：{step['impact']}\n\n" with open('PREPROCESSING_DOC.md', 'w') as f: f.write(doc) # 调用 generate_preprocessing_doc(df, [ {"name": "业务规则注入", "description": "应用KOC用户豁免规则", "params": "...", "impact": "减少异常值误杀23%"}, {"name": "Target Encoding", "description": "对商户ID做平滑编码", "params": "smooth=10", "impact": "提升AUC 0.018"} ])

5. 常见问题与排查技巧实录：那些让老手也挠头的预处理暗礁

5.1 问题速查表：高频故障现象与根因定位

5.2 实操避坑心得：血泪换来的12条军规

1. 永远不要在Jupyter里完成预处理：Jupyter的交互式执行会让fit()和transform()混用，必须在.py文件中用函数封装，强制分离训练/推理逻辑。
2. 预处理脚本第一行必须是import warnings; warnings.filterwarnings('error')：让所有SettingWithCopyWarning变成报错，避免链式索引导致的静默失败。
3. 对所有fillna()操作，必须跟一句assert df[col].isnull().sum() == 0：我曾因漏掉这句断言，在生产环境跑了三个月才发现某字段填充失效。
4. 时间特征必须带时区信息：pd.to_datetime(df['ts'], utc=True)，否则跨时区服务会出现12小时偏移。
5. 文本清洗后必须做长度分布检查：df['cleaned_text'].str.len().hist()，若大量文本长度为0，说明正则删除过度（如re.sub(r'\W+', '', text)会删掉所有中文）。
6. 分类变量编码前，先做value_counts().tail(10)：查看最低频10个值，若存在"other"、"unknown"等占位符，需单独处理而非简单丢弃。
7. 数值缩放后，必须验证np.isfinite(X_scaled).all()：浮点计算可能产生inf，尤其在log(x+1)变换后。
8. 所有预处理函数必须接受random_state参数：确保SMOTE等随机操作可复现，避免AB测试结果波动。
9. 用dask或vaex处理超大数据时，禁用pandas的apply()：改用向量化操作，否则内存暴涨。
10. 预处理后的DataFrame必须用df.info(memory_usage='deep')检查内存：One-Hot编码可能让内存增长10倍，及时用category类型压缩。
11. **对groupby().agg()操作，必须指定