1. 项目概述从“活跃”到“复购”我们到底在分析什么做用户增长、产品运营或者数据分析的朋友对“活跃”、“留存”、“复购”这几个词一定不陌生。每天盯着看板看着日活、周留存、月复购率这些指标上下波动心里可能既焦虑又困惑用户为什么今天来了明天就不来了那个上周买了东西的用户这周还会再来吗我们做的这个促销活动到底对用户的长期价值有没有提升这些问题背后其实都指向同一个核心用户行为的重复发生。用户打开一次App是“访问”连续打开七天就是“活跃”用户首次购买是“转化”隔了一段时间再次购买就是“复购”。我们真正关心的不是那个单次、孤立的行为点而是行为在时间轴上的重复模式和持续能力。传统的数据分析比如计算一个整体的“30日留存率”往往是一个静态的、汇总的视角。它告诉我们一个结果比如“有40%的用户在30天后还活跃”但它无法回答更细致的问题用户是在第几天流失的风险最高不同渠道来的用户他们的留存模式有什么不同我们提前干预能多大程度上延缓用户的流失这就需要引入一个在医学、工程领域被广泛使用但在互联网数据分析中尚未被充分重视的强大工具生存分析。生存分析顾名思义最初是用来分析病人的“生存时间”研究哪些因素会影响患者的生存期。但它的思想完全可以迁移到我们的业务场景中——把“用户流失”看作“死亡事件”把“用户持续活跃/复购”看作“生存”我们就能用一套严谨的数学框架来量化用户重复行为的“生命力”。这篇笔记就是我结合多个实际案例对如何运用生存分析来建模重复事件的一次系统性梳理。它不是一篇理论教科书而是一个从业者的实战复盘。我会带你看到从定义“死亡事件”开始到数据清洗、模型选择、结果解读再到最终驱动业务动作整个过程中有哪些关键的决策点、容易踩的坑以及那些真正产生价值的洞察藏在哪里。无论你是想预测用户的流失风险评估营销活动的长期效果还是优化产品的核心功能路径生存分析都能提供一个比简单比率计算深刻得多的视角。2. 核心思路为什么是生存分析它解决了什么问题在深入技术细节之前我们必须先想清楚面对“活跃、留存、复购”这些问题生存分析到底比传统方法强在哪里它的不可替代性是什么我总结为三个核心优势处理“删失数据”的能力、对时间动态过程的刻画以及对风险因素的量化评估。2.1 传统方法的局限与生存分析的优势我们先看一个典型场景。你想分析用户的月度复购行为。传统做法是取一个月前的某一天比如1月1日首次购买的用户作为队列然后看他们在2月1日之前是否发生了第二次购买计算出一个“30日复购率”。这个方法有几个明显的痛点时间窗口武断为什么是30天不是45天或60天选择不同的窗口结果可能差异巨大缺乏客观标准。信息利用不充分对于在1月15日首次购买的用户到2月1日观察结束时他们只被观察了17天。他们可能在第20天复购但你的“30日窗口”没等到那天就关闭了于是他们被错误地标记为“未复购”。这就是右删失数据——我们知道用户在观察期内“还没死”还没流失/复购但不知道之后会不会“死”。传统比率计算通常粗暴地将这类用户剔除或简单处理导致估计有偏。静态视角它只给出一个时间点的汇总结果无法告诉我们用户复购的风险是如何随时间变化的。是首购后一周内复购风险最高还是一个月后生存分析完美地解决了这些问题。它将每个用户看作一个从“起始事件”如首次购买、首次访问开始被持续观察的个体。我们记录两个关键信息生存时间从起始到事件发生或观察结束的时间和事件状态事件是否发生。对于上述1月15日首购的用户生存时间就是17天事件状态是“未复购”删失。生存分析模型如Kaplan-Meier估计器能够综合利用所有用户的完整和删失数据计算出生存函数 S(t)——即用户直到时间t仍未发生事件如未流失的概率以及风险函数 h(t)——即用户在时间t附近瞬间发生事件的概率。注意定义“起始事件”和“终止事件”是生存分析的第一步也是最容易出错的一步。对于“留存”起始事件通常是首次关键行为如注册、完成新手任务终止事件是“流失”需明确定义如连续7天未登录。对于“复购”起始事件是某次购买如首购终止事件是“下一次购买”。对于“活跃”可能更复杂需要定义为一个重复事件过程我们稍后会讨论。2.2 从单一事件到重复事件模型的演进基础的生存分析处理的是单次、不可重复的事件比如用户流失一旦流失该用户的分析通常就结束了。但“活跃”和“复购”本质上是可重复发生的。用户今天活跃明天可能还活跃用户完成一次复购后可能还会进行第二次、第三次复购。直接套用单事件模型会丢失大量信息。这就需要引入重复事件生存分析的模型。其核心思想是将每个用户的一段行为历史视为由多个“生存期”组成的序列。例如分析复购第一期起始事件 首次购买终止事件 第二次购买或观察结束。记录时间T1和状态。第二期如果发生了第二次购买则起始事件重置为第二次购买开始观察直至第三次购买或观察结束。记录时间T2和状态。如此往复。这样一个用户就可以贡献多个数据行每个“期”一行模型可以同时分析影响第一次复购、第二次复购……的因素有何不同。常用的模型包括安德森-吉尔模型将重复事件视为一个计数过程假设每次事件发生后风险函数重置且各期之间条件独立。计算效率高易于理解。边际模型不假设各期独立直接对每个事件的风险函数进行建模通过稳健方差估计来处理同一用户内的相关性。更灵活但计算复杂。脆弱性模型引入一个随机效应脆弱因子来捕捉用户本身的、未观测到的异质性。比如有的用户天生就是高复购倾向者这个模型能把这部分“个体特质”分离出来。在实际业务中AG模型因其良好的可解释性和稳定性往往是首选。它可以直接告诉我们在控制了其他因素后某个变量如用户性别、获客渠道、首单金额对复购风险的“乘数效应”是多少。2.3 项目整体设计框架基于以上思路一个完整的重复事件生存分析项目可以遵循以下框架推进这不仅仅是技术流程更是保证分析能落地的业务思考流程业务问题定义与指标对齐与业务方深入沟通明确核心目标。是预测高流失风险用户进行干预还是评估新功能对长期留存的影响抑或是寻找驱动复购的关键因子不同的目标直接影响后续的事件定义和模型评价标准。数据准备与“生存数据”转换从数据仓库中提取原始日志数据。这是最耗时但也最关键的一步。需要精确地识别每个用户的“起始事件”。根据业务定义判断“终止事件”是否发生及发生时间。处理观测窗口标记删失数据。对于重复事件将用户数据从“一人一行”转换为“一人一期一行”的格式。整理协变量特征如用户属性、行为特征、环境因素等。注意区分时变协变量随时间变化的如最近一次消费金额和时不变协变量如性别、渠道。探索性数据分析与非参数估计在构建复杂模型前先用Kaplan-Meier曲线可视化整体生存状况用Log-Rank检验比较不同用户群如不同渠道的生存曲线是否有显著差异。这一步能快速获得直观认知并验证一些基本假设。参数/半参数模型建模与解释根据数据特点和业务问题选择合适的模型如Cox比例风险模型用于单事件AG模型用于重复事件。拟合模型检验比例风险假设等前提条件。重点解读风险比理解每个特征如何影响事件发生的“风险”。预测与应用利用拟合的模型可以计算每个用户在未来的生存概率或预测其预期的事件发生次数。这将直接驱动精细化运营策略比如对低生存概率用户进行挽留、对高预期价值用户进行深耕。3. 实战案例拆解电商用户复购分析理论说得再多不如一个真实案例来得透彻。下面我以一个模拟的电商数据集为例完整走一遍从数据到洞察的过程。为了保护数据隐私所有数据均为生成但逻辑和问题完全真实。3.1 数据准备与特征工程我们假设有一份订单表orders和用户属性表users。目标分析影响用户首次复购即第二次购买的因素。第一步定义事件与窗口起始事件用户的首次购买注意不是注册是第一次支付成功。终止事件用户的第二次购买。观察窗口我们选取2023年第一季度1月1日至3月31日首次购买的用户观察他们直到6月30日的行为。这样所有用户至少有90天的观察期对于1月1日的用户观察期长达180天对于3月31日的用户观察期正好90天。这能很好地包含删失数据。第二步构建生存分析数据集我们需要为每个用户生成一行数据包含user_id,duration生存时间天,event是否复购1是0删失以及一系列特征。-- 示例SQL逻辑 (BigQuery语法) WITH first_purchase AS ( SELECT user_id, MIN(order_date) as first_date, COUNT(DISTINCT order_id) as first_purchase_count, -- 首次购买件数 SUM(amount) as first_amount -- 首次购买金额 FROM project.dataset.orders WHERE order_date BETWEEN 2023-01-01 AND 2023-03-31 AND status paid GROUP BY user_id HAVING MIN(order_date) BETWEEN 2023-01-01 AND 2023-03-31 -- 确保首购在Q1 ), second_purchase AS ( SELECT o.user_id, MIN(o.order_date) as second_date FROM project.dataset.orders o JOIN first_purchase fp ON o.user_id fp.user_id WHERE o.order_date fp.first_date AND o.order_date 2023-06-30 -- 观察截止日 AND o.status paid GROUP BY o.user_id ), user_features AS ( SELECT u.user_id, u.gender, u.age_group, u.channel, u.registration_platform FROM project.dataset.users u ) SELECT fp.user_id, -- 生存时间如果复购了就是二次购买日期-首次购买日期否则是观察截止日-首次购买日期 DATE_DIFF( COALESCE(sp.second_date, DATE 2023-06-30), fp.first_date, DAY ) as duration_days, -- 事件状态如果找到二次购买记录则为1否则为0删失 CASE WHEN sp.second_date IS NOT NULL THEN 1 ELSE 0 END as event, -- 特征 fp.first_amount, fp.first_purchase_count, uf.gender, uf.age_group, uf.channel, uf.registration_platform, -- 可以加入一些时变协变量的初始值例如首购后7天内的登录次数需要额外计算 FROM first_purchase fp LEFT JOIN second_purchase sp ON fp.user_id sp.user_id LEFT JOIN user_features uf ON fp.user_id uf.user_id;执行这段SQL后我们得到一个标准的生存分析数据集。duration_days是时间event是状态其他列是协变量。实操心得定义“首次购买”时务必排除退款订单。duration的计算单位天、小时、分钟取决于业务节奏。对于复购周期短的如生鲜电商可能用“小时”更合适对于大家电用“天”或“周”更合适。单位的选择会影响风险函数的形态。3.2 探索性分析与Kaplan-Meier曲线拿到数据后不要急着跑模型。先用Python的lifelines库进行可视化探索。import pandas as pd import matplotlib.pyplot as plt from lifelines import KaplanMeierFitter from lifelines.statistics import logrank_test # 假设df是上面SQL导出的DataFrame kmf KaplanMeierFitter() kmf.fit(durationsdf[duration_days], event_observeddf[event], labelAll Users) kmf.plot_survival_function() plt.title(Kaplan-Meier Estimate: Survival Function for First Repurchase) plt.ylabel(Proportion Surviving (Not Yet Repurchased)) plt.xlabel(Days Since First Purchase) plt.grid(True) plt.show() # 计算中位生存时间50%用户发生复购的时间 median_repurchase_time kmf.median_survival_time_ print(fMedian time to first repurchase: {median_repurchase_time} days) # 比较不同渠道用户的留存差异 channels df[channel].unique() plt.figure(figsize(10,6)) for channel in channels: mask df[channel] channel kmf_channel KaplanMeierFitter() kmf_channel.fit(durationsdf.loc[mask, duration_days], event_observeddf.loc[mask, event], labelchannel) kmf_channel.plot_survival_function(ci_showFalse) # 先不显示置信区间让图更清晰 plt.title(KM Curve by Acquisition Channel) plt.ylabel(Survival Probability) plt.xlabel(Days) plt.legend() plt.grid(True) plt.show() # 对两个主要渠道进行Log-Rank检验 mask_a df[channel] Channel_A mask_b df[channel] Channel_B results logrank_test(df.loc[mask_a, duration_days], df.loc[mask_b, duration_days], event_observed_Adf.loc[mask_a, event], event_observed_Bdf.loc[mask_b, event]) print(fLog-Rank test p-value: {results.p_value:.4f}) if results.p_value 0.05: print(The survival curves for Channel_A and Channel_B are statistically different.)解读KM曲线纵轴生存概率代表用户“尚未复购”的比例。曲线下降越快说明复购发生得越早、越集中。横轴时间可以看到首购后的前30天是复购发生的“黄金期”生存概率急剧下降。之后曲线逐渐平缓。中位生存时间假设计算出来是45天意味着50%的用户会在首购后45天内完成第二次购买。这是一个非常直观的业务指标。渠道对比从图上可能清晰看到来自“搜索引擎”渠道的用户橙线其生存曲线始终在“社交媒体”渠道蓝线上方意味着他们在任何时间点“尚未复购”的比例都更高即复购更慢、更少。Log-Rank检验的p值如果小于0.05则从统计上确认了这种差异不是偶然。3.3 构建Cox比例风险模型KM曲线只能做单变量或分组比较。要同时评估多个因素的影响我们需要多变量模型。Cox模型是首选。from lifelines import CoxPHFitter # 数据预处理将分类变量转换为虚拟变量独热编码 df_model pd.get_dummies(df, columns[gender, age_group, channel, registration_platform], drop_firstTrue) # 初始化并拟合Cox模型 cph CoxPHFitter() cph.fit(df_model, duration_colduration_days, event_colevent, show_progressTrue) # 查看模型摘要 cph.print_summary() print(\nConcordance Index (C-index):, cph.concordance_index_) # 可视化特征的影响 cph.plot_covariate_groups(first_amount, [50, 100, 150, 200], cmapcoolwarm) plt.title(Impact of First Purchase Amount on Repurchase Hazard) plt.show()模型结果解读要点系数coef与风险比exp(coef)这是核心。coef 0表示该特征会增加风险即促使用户更早复购coef 0则表示降低风险延迟复购。exp(coef)就是风险比Hazard Ratio, HR。例如first_amount的coef0.005,exp(coef)1.005。这意味着首单金额每增加1元用户瞬间复购的风险就增加0.5%。如果coef是负的比如某个渠道的HR0.8则表示该渠道来的用户其复购风险是基准组的80%即复购意愿更低。p值判断该特征是否具有统计显著性。通常以p0.05为标准。C-index类似于AUC衡量模型的区分能力。0.5是随机猜测1是完美预测。在生存分析中0.7以上通常认为模型有不错的预测能力。比例风险假设检验Cox模型的核心假设是风险比不随时间变化。lifelines提供了check_assumptions方法。如果某个特征违反该假设可能需要引入时变系数或分层。注意事项Cox模型输出的是风险比不是生存概率的绝对变化。HR2不意味着生存概率翻倍而是意味着在任意时间点发生事件的瞬时风险是参照组的两倍。这对业务沟通至关重要需要向非技术同事解释清楚。3.4 从单次事件扩展到重复事件AG模型如果我们要分析第二次、第三次乃至第N次复购就需要用到重复事件模型。这里以安德森-吉尔AG模型为例我们需要先将数据格式转换为“计数过程”格式。# 假设我们有一个包含多次购买记录的数据集 df_all_orders # 我们需要为每个用户构建多个“期” import numpy as np def create_ag_dataframe(orders_df, user_id_coluser_id, date_colorder_date, end_date2023-06-30): 将订单数据转换为AG模型需要的计数过程格式 ag_rows [] orders_df orders_df.sort_values([user_id_col, date_col]).reset_index(dropTrue) for user_id, user_orders in orders_df.groupby(user_id_col): user_orders user_orders.sort_values(date_col).reset_index(dropTrue) start_time 0 for i in range(len(user_orders)-1): # 对于第i次购买观察其到第i1次购买 stop_time (user_orders.iloc[i1][date_col] - user_orders.iloc[i][date_col]).days event 1 # 发生了下一次购买 # 可以在这里加入这一期开始时用户的特征时变协变量 ag_rows.append({ user_id: user_id, start: start_time, stop: start_time stop_time, event: event, purchase_order: i1, # 这是第几次购买作为期数标识 # ... 其他时变特征如本次购买金额、距上次购买间隔等 }) start_time stop_time # 处理最后一期从最后一次购买到观察结束删失 last_order_date user_orders.iloc[-1][date_col] stop_time_censored (pd.to_datetime(end_date) - last_order_date).days if stop_time_censored 0: # 如果观察期还没结束 ag_rows.append({ user_id: user_id, start: start_time, stop: start_time stop_time_censored, event: 0, # 删失未观察到下一次购买 purchase_order: len(user_orders), # ... 其他特征 }) return pd.DataFrame(ag_rows) # 转换数据 df_ag create_ag_dataframe(df_all_orders) # 使用CoxPHFitter拟合AG模型通过指定id_col和cluster_col来校正同一用户内的相关性 cph_ag CoxPHFitter() cph_ag.fit(df_ag, duration_colstop, event_colevent, entry_colstart, # AG模型需要指定开始时间 id_coluser_id, # 指定用户ID用于处理聚类数据 cluster_coluser_id, # 使用稳健方差估计处理同一用户内的相关性 show_progressTrue) cph_ag.print_summary()AG模型解读的特别之处purchase_order这个特征的HR如果大于1说明随着购买次数的增加用户再次复购的风险在增加即复购间隔在缩短用户变得越来越“忠诚”。模型同时考虑了所有期的数据因此特征的影响是综合了用户整个生命周期行为的平均效应。cluster_col的设定非常重要它确保了标准误的计算考虑了同一用户多次观测之间的相关性使得统计检验更可靠。4. 模型诊断、验证与业务应用模型建好了不代表就能直接用了。必须经过严格的诊断和验证确保其稳定可靠。4.1 模型诊断你相信你的模型吗比例风险假设检验使用cph.check_assumptions(df_model, p_value_threshold0.05)。如果某个特征如channel的p值很小说明该特征的风险比可能随时间变化。解决方法可以是按该特征分层strata[channel]或者在模型中引入该特征与时间的交互项。残差分析Schoenfeld残差图可以帮助直观检查比例风险假设。Martingale残差可用于检查线性假设和发现异常值。共线性检查与线性回归类似特征间高度相关会影响系数估计的稳定性。可以计算方差膨胀因子。# 比例风险假设检验 proportional_hazard_test_results cph.check_assumptions(df_model, show_plotsTrue, p_value_threshold0.05) # 如果某个特征违反假设考虑分层拟合 cph_stratified CoxPHFitter() cph_stratified.fit(df_model, duration_colduration_days, event_colevent, strata[channel])4.2 模型验证与预测区分度评估C-index是主要指标。可以在训练集上通过交叉验证来获得一个更稳健的估计。校准度评估比较模型预测的生存概率与实际观察到的生存概率。可以按预测风险评分分组比较每组的KM估计生存率与模型预测的平均生存率。预测个体生存曲线这是模型最直接的应用。可以预测一个新用户在未来的任何时间点“尚未复购”的概率。# 预测单个用户的生存曲线 user_123_features df_model[df_model[user_id] 123].drop([duration_days, event], axis1) cph.predict_survival_function(user_123_features).plot() plt.title(Predicted Survival Function for User 123) plt.ylabel(Probability of Not Yet Repurchased) plt.xlabel(Days) plt.show() # 预测中位生存时间 predicted_median cph.predict_median(user_123_features) print(fPredicted median time to repurchase for user 123: {predicted_median.iloc[0]} days)4.3 驱动业务决策从洞察到行动模型的价值最终要体现在业务行动上。以下是一些典型的应用场景用户分层与精准运营高风险流失用户识别预测未来30天流失概率最高的用户群。运营团队可以针对性地推送优惠券、专属客服回访或个性化内容。高价值用户培育识别出那些虽然当前复购间隔长但模型预测其长期价值预期购买次数高的用户进行长期关系维护。产品功能与营销活动评估A/B测试的长期效果评估传统A/B测试看短期转化率生存分析可以看实验组和对照组的长期留存曲线是否有差异。用Log-Rank检验判断新功能是真正提升了用户粘性还是仅仅带来了短期波动。营销活动ROI分析不仅看活动带来的即时GMV更用生存分析比较活动用户和非活动用户的后续复购行为计算用户的生命周期价值增量从而更准确地评估活动真实ROI。根因分析与策略制定通过模型发现“首单包含特定品类商品”能显著提升复购风险。那么业务策略可以调整为鼓励或引导新用户在第一单就购买该品类例如通过捆绑销售、强烈推荐。发现“来自渠道X的用户复购风险显著偏低”。那么需要深入调研该渠道的用户质量或匹配度考虑调整在该渠道的投放策略或优化落地页。5. 避坑指南与常见问题在实际操作中我踩过不少坑也积累了一些经验。5.1 数据层面的坑坑1错误定义“起始时间”。分析复购时起始时间必须是第一次付费成功的时间而不是注册时间或第一次加购时间。分析留存时起始时间必须是完成了核心激活行为的时间如发布第一条内容、完成首次搜索。错误定义会导致“生存时间”计算失真。坑2忽略“左删失”。我们的观察通常从某个时间点开始。如果一个用户在观察开始前就已经发生了起始事件例如在数据平台上线前就已经是活跃用户那么他的数据是“左删失”的。简单将其纳入分析会导致偏差。通常的解决方法是只将观察期开始后发生起始事件的用户纳入队列即我们前面SQL中的做法。坑3时变协变量的处理。用户的特征如VIP等级、最近消费金额是随时间变化的。在Cox模型中需要将数据转换成“计数过程”格式类似AG模型在每个时间区间内协变量值保持恒定。处理起来比较复杂但能极大提升模型准确性。坑4竞争风险。用户可能因为多种原因“死亡”。例如用户流失可能因为“自然流失”或“被客服封号”。如果只关心“自然流失”那么“封号”就是一个竞争风险事件。简单的生存分析会高估感兴趣事件的发生概率。此时需要考虑竞争风险模型。5.2 模型选择与解释的坑坑5盲目使用Cox模型。Cox模型是半参数的方便但前提是比例风险假设成立。如果数据明显不满足该假设如两条生存曲线交叉参数模型如Weibull, Exponential, Log-Normal或加速失效时间模型可能是更好的选择。它们对风险函数的形式有明确假设预测结果有时更稳定。坑6混淆风险比与风险概率。这是最常见的沟通误区。务必向业务方强调HR描述的是风险的相对变化速率而不是概率的绝对值。可以辅以生存曲线图来直观展示差异。坑7过度解读不显著的结果。p值大于0.05不代表“没有影响”只代表“在现有数据中没有足够证据证明其影响”。不能据此下业务结论说“这个因素不重要”。5.3 实操建议与技巧从小处着手先从单事件、单人群的简单Cox模型开始把流程跑通再扩展到重复事件、复杂模型。可视化先行在建模前多画KM曲线分组比较。这能给你最直观的业务感觉也能提前发现一些数据问题。业务理解优先生存分析是工具业务逻辑是灵魂。定义事件、选择特征、解释结果每一步都要和业务方反复确认。一个在统计上显著但业务上无法解释的特征很可能是一个混淆变量。用时间依赖的AUC评估预测模型如果你构建模型是为了预测传统的C-index可能不够。可以使用lifelines中的concordance_index函数或者计算不同时间点的时间依赖的AUC来更细致地评估模型在不同预测窗口的表现。考虑使用机器学习模型对于特征非常多、关系非常复杂的情况可以尝试基于树的生存分析模型如随机生存森林或梯度提升生存分析模型。它们能自动处理非线性关系和交互效应但可解释性不如Cox模型。可以将它们用作特征筛选或作为基准模型。生存分析不是一个“一劳永逸”的银弹而是一个需要与业务场景深度结合、不断迭代的思考框架。它迫使我们从“静态的比率”思维转向“动态的过程”思维。当你开始用“风险”、“生存时间”来思考用户行为时你会发现很多之前被忽略的细节和机会。这个案例学习笔记只是一个起点真正有价值的分析永远始于一个清晰的业务问题并终于一个可执行的业务动作。