1. 这篇文章真正要解决的问题很多开发者一听到“AI 投资”第一反应是“用大模型预测股票”“让 AI 自动交易”仿佛只要把 K 线和新闻丢进神经网络就能拿到稳定收益。但如果认真拆解 Two Sigma 这类头部量化机构公开分享的思路会得到一个更冷静的判断AI 赋能投资真正的难点从来不在某个模型有多强而在于数据治理、特征工程、回测防过拟合、分布式计算和风险控制这一整套工程闭环。这篇文章不打算复述那一场访谈的每一个细节而是围绕“Two Sigma 谈如何用 AI 赋能投资”这个主题拆解 AI 在量化投资里到底解决什么问题、适合哪类任务、不适合哪类任务以及作为普通开发者可以怎么借鉴这套方法论。本文面向的读者有三类做机器学习、数据工程的开发者想了解量化场景中的 AI 应用。做 AI Agent、模型部署的工程师想看看模型在金融行业里如何被真正落地。对量化投资有兴趣但不想被各种“AI 荐股”割韭菜的普通技术用户。读完后你会得到一个清晰的判断框架AI 在投资里的价值不是“预测涨跌”而是用更系统化的方式处理信息、评估风险和优化执行流程。2. AI 在量化投资中的核心逻辑与认知误区2.1 传统研究与数据驱动研究的区别传统投资研究通常是“假设驱动”分析师先提出一个宏观经济判断或行业逻辑然后寻找数据验证。这个过程依赖人的经验、对信息的获取速度和判断偏差。AI 驱动的投资研究则是“数据驱动”把大量历史行情、基本面数据、另类数据、新闻文本汇总成结构化信号用统计模型挖掘其中相对稳定的规律。它的优势不是每次判断都正确而是可以处理人类分析师无法覆盖的数量级信息并给出可回测、可重复的结论。Two Sigma 的思路更接近后者。它把计算机科学、机器学习和分布式计算看作研究工具而不是替代人类判断的“黑箱神谕”。2.2 AI 在投资链路中的位置量化投资可以拆成一条链路环节传统方式AI 加持后的变化数据获取手工收集财报、行情自动化采集覆盖新闻、舆情、另类数据特征构造分析师人工计算指标自动化特征工程因子挖掘信号生成线性模型、经验判断树模型、深度学习、多因子融合回测验证简单历史均值考虑交易成本、滑点、时间序列交叉验证交易执行人工下单算法执行、拆单、风控校验风险监控定期报告实时监控、异常检测、压力测试从这个链路可以看出AI 不是某一个环节的“魔法”而是把每个环节都做系统化、自动化和可重复化。2.3 常见认知误区第一个误区是“把模型当预言机”。机器学习的本质是统计归纳它从历史数据中学习相关性而不是从未来获取确定性。预测涨跌方向本身只是一个概率输出必须放到风险管理和仓位控制框架下才有意义。第二个误区是“数据越多越好”。金融数据存在严重的非平稳性过去十年的规律在下一个极端行情里可能完全失效。把噪音学进去比不学更危险。第三个误区是“回测好就能实盘赚钱”。回测里表现好的策略在实盘里经常因为交易成本、冲击成本、数据延迟和模型漂移而大打折扣。这也是为什么专业机构花大量精力做数据基础设施和回测框架而不是不断换模型。这一章的小结论是AI 在投资中的价值不是预测而是系统化。真正拉开差距的是数据工程、回测质量和风控能力。3. 数据基础设施AI 投资的“燃料系统”3.1 数据种类与规模量化投资依赖的数据源非常庞杂行情数据分时 tick、分钟线、日线包含开盘价、收盘价、最高价、最低价、成交量、成交额。基本面数据财报、资产负债表、利润表、现金流、行业分类。另类数据卫星图像、电商销售记录、招聘信息、物流数据、信用卡消费。文本数据新闻标题、公告、研报、社交媒体舆情。不同类型的数据对应着不同的时效和存储要求。行情数据是高频时序写入文本数据需要 NLP 处理管道基本面数据需要严格的历史对齐。3.2 数据清洗的常见坑金融数据清洗比普通业务数据清洗更严格因为一个小错误会被模型放大到整个投资决策中。常见问题包括时间戳不统一不同交易所的时区、夏令时、交易时间段不一致。复权口径不一致前复权与后复权对历史价格影响巨大。幸存者偏差只保留当前还在上市的股票忽略退市样本会高估策略表现。除权除息处理不当导致价格序列出现异常跳变。数据缺失停牌、新股上市、数据供应商断流。下面是一个用 pandas 清洗日线数据的最小示例展示了统一时间索引、处理缺失值和简单去极值的思路。# 文件路径data_cleaning.py import pandas as pd import numpy as np def load_clean_daily_data(csv_path: str, symbol: str) - pd.DataFrame: # 读取数据 df pd.read_csv(csv_path, parse_dates[date]) df df[df[symbol] symbol].copy() # 统一时间索引去除重复交易日 df[date] pd.to_datetime(df[date], utcTrue).dt.tz_localize(None) df df.drop_duplicates(subset[date], keeplast) df df.set_index(date).sort_index() # 缺失值处理先向前填充再向后填充避免前视偏差 df df.ffill().bfill() # 中位数去极值用滚动中位数与标准差过滤异常价格 price df[close] rolling_med price.rolling(window30, min_periods1).median() rolling_std price.rolling(window30, min_periods1).std() df[close_adj] price.mask( (price - rolling_med).abs() 5 * rolling_std, rolling_med ) return df这段代码的重点不是写了多复杂的逻辑而是体现了两个量化场景中的关键原则时间索引需要统一处理缺失值时要避免引入未来信息。如果回测时在当天收盘前就“看到”了第二天才产生的数据那模型表现会被严重高估。3.3 数据版本管理与对齐更专业的做法是把数据看作有版本的表征而不是一次性文件。数据变更后模型结果应该可以复现。通常的做法包括给数据集打版本号记录数据起止日期。定时任务拉取增量数据。对上游数据做 schema 校验和空值率监控。在不同时区数据集之间建立统一的主时间轴。如果没有这样的基础后面所有模型和回测的结论都不值得信任。数据质量决定了量化研究的可信边界。4. 特征工程与因子挖掘模型质量的上限量化领域把用于预测的输入变量叫作“因子”。这些因子不是简单的原始价格而是经过加工后具有经济含义的特征。4.1 因子的常见类型因子类型示例对应逻辑动量因子过去 20 日收益率强者恒强趋势延续反转因子过去 5 日收益率的负向短期超跌反弹均值回归波动率因子滚动标准差风险偏好变化量价因子成交量与价格变化关系资金参与度基本面因子市盈率、市净率、ROE估值与盈利质量文本情绪因子新闻正面/负面概率信息冲击这里的关键不是因子的数量而是每个因子的逻辑是否站得住脚。一个“纯数据挖掘”出来的因子经常在样本外迅速失效。4.2 特征计算的代码示例下面用 pandas 计算一个简单的动量与波动率因子并做标准化。这是量化入门最常见的操作。# 文件路径feature_engineering.py import pandas as pd import numpy as np def add_price_features(df: pd.DataFrame) - pd.DataFrame: df df.copy() close df[close_adj] # 动量因子过去 10 日和 20 日收益率 df[momentum_10] close.pct_change(periods10) df[momentum_20] close.pct_change(periods20) # 波动率因子过去 20 日收益率的标准差 df[volatility_20] close.pct_change(periods1).rolling(20).std() # 简单归一化z-score用历史窗口避免未来信息 df[momentum_10_z] ( df[momentum_10] - df[momentum_10].rolling(60).mean() ) / df[momentum_10].rolling(60).std() return df.dropna(subset[momentum_10_z])注意这段代码里特意用了rolling(60)做滚动均值与滚动标准差而不是全样本标准化。为什么全样本标准化会用到未来数据训练时看起来很好实盘中却无法复现。特征工程的第一原则是任何需要历史统计量的地方都要用滚动窗口而不是全样本。4.3 特征与标签的关系有特征之后还要定义清楚标签。最常见的标签是“未来 n 日收益率”它决定了模型在学什么。例如# 标签构造未来 5 日收益率作为二分类标签 df[future_return_5] df[close_adj].shift(-5) / df[close_adj] - 1 df[label] (df[future_return_5] 0).astype(int)这里使用shift(-5)取未来 5 日后的价格训练时只能使用label之前的数据。如果处理不当很容易未来函数泄漏模型在训练时看到了未来标签实盘失效。这一章的小结论是特征工程决定了模型的天花板。优质因子的核心不是“更复杂”而是“逻辑成立 不泄漏未来信息”。5. 模型选型从线性基线到树模型与深度学习量化研究中的模型选择应该遵循“先简单、再复杂”的路径。一上来就上大模型反而容易忽略基础问题。5.1 基线模型逻辑回归或岭回归先跑一个简单模型不是为了拿它上实盘而是为了后续对比。如果复杂模型比简单模型在样本外提升不到 1%说明新增的复杂度大概率只是过拟合。5.2 树模型LightGBM / XGBoost在结构化因子数据上梯度提升树通常是效果和效率最平衡的选择因为它能自动处理非线性关系、缺失值和特征交互。下面是一个用 LightGBM 训练方向预测模型的完整示例# 文件路径train_lgbm.py import lightgbm as lgb import pandas as pd from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import accuracy_score, roc_auc_score # 假设 df 已经包含特征列和 label 列 feature_cols [ momentum_10_z, volatility_20, close_to_open, # 示意列实际需额外构造 volume_ratio, # 示意列实际需额外构造 ] X df[feature_cols] y df[label] # 时序切分不能用随机 K 折必须按时间顺序切分 tscv TimeSeriesSplit(n_splits3) for fold, (train_idx, valid_idx) in enumerate(tscv.split(X)): X_train, X_valid X.iloc[train_idx], X.iloc[valid_idx] y_train, y_valid y.iloc[train_idx], y.iloc[valid_idx] train_data lgb.Dataset(X_train, labely_train) valid_data lgb.Dataset(X_valid, labely_valid, referencetrain_data) params { objective: binary, metric: auc, learning_rate: 0.05, num_leaves: 31, verbose: -1, } model lgb.train( params, train_data, num_boost_round200, valid_sets[valid_data], ) pred model.predict(X_valid) auc roc_auc_score(y_valid, pred) print(fFold {fold}, AUC {auc:.4f})这个示例的重点是TimeSeriesSplit。时序数据的交叉验证不能使用随机切分否则训练集里会出现未来的样本造成严重的信息泄漏。如果回测代码里用了train_test_split(random_state42)那结果基本不可信。5.3 深度学习与文本模型对于非结构化数据比如新闻、公告、研报深度学习尤其是预训练语言模型才真正发挥作用。常见做法是用预训练模型把新闻文本转换成向量。通过情感分类得到情绪分数。将情绪分数作为新因子喂给上游的树模型或线性模型。也就是说深度学习在量化里的定位通常是特征提取器而不是端到端的涨跌预测器。这样做的原因是端到端模型很难解释也容易过拟合。这一章的小结论是模型不是越复杂越好。先建立线性基线再用树模型捕捉非线性最后用深度学习处理非结构化数据是一条更稳健的技术路线。6. 回测系统量化投资最容易翻车的地方6.1 回测的三大陷阱前视偏差Look-ahead Bias前视偏差是量化里最常见的错误。如果特征、标签或数据清洗逻辑中隐含了未来信息回测结果会严重虚高。典型场景包括用全样本均值填充缺失值。对全样本做标准化后再切分训练集和测试集。用未来收益率做特征排序后进行筛选。数据未对齐把非交易时段的未来数据带入当天。幸存者偏差Survivorship Bias只看当前还在交易的股票等于自动剔除了退市、暴跌的样本。这样得到的“过去十年年化 30%”没有任何参考价值。正确的做法是使用包含退市股票的“点心池”。忽略交易成本Transaction Cost回测里每笔交易 0 手续费、零滑点看起来收益很高。实盘里只要换手率稍高交易成本就能把收益吃光。回测一定要加入成本模型包括手续费、印花税和冲击成本。6.2 一个 Walk-Forward 回测框架下面是一个带成本约束的简化回测思路# 文件路径backtest_template.py import numpy as np import pandas as pd def simple_backtest(returns: pd.Series, cost: float 0.001): 简化回测按信号持仓计算累计收益与交易成本。 position returns.apply(lambda x: 1 if x 0 else -1) position_shift position.shift(1).fillna(0) turnover (position - position_shift).abs() net_returns position_shift * returns - turnover * cost cumulative (1 net_returns).cumprod() sharpe_approx net_returns.mean() / net_returns.std() * np.sqrt(252) return { cumulative: cumulative, total_return: cumulative.iloc[-1] - 1, annual_sharpe_approx: sharpe_approx, max_drawdown: (cumulative / cumulative.cummax() - 1).min(), }这个模板非常简单但展示了回测的核心逻辑先算裸收益再扣除调仓成本最后看累计净值曲线和最大回撤。如果从回测到实盘之间出现巨大落差第一件事不是换模型而是检查成本假设和数据泄漏。6.3 回测指标怎么读常用的评估指标主要有指标含义注意点年化收益率年化后的平均收益时间窗口短时不代表长期最大回撤净值从高点到低点的最大跌幅决定策略能承受多大压力夏普比率单位风险的超额收益实际中受收益率分布影响换手率持仓调整频率直接决定交易成本IC / Rank IC预测值与未来收益的相关性逐日或逐期更稳定回测的结论不是“策略能赚钱”而是“策略在特定数据、特定假设、特定成本下没有崩溃”。它评估的是流程不是结果。这一章的小结论是回测系统不是用来证明模型“好”而是用来发现流程中的错误。7. 从信号到交易工程化部署的关键边界如果说回测是研究阶段那么部署就是生产阶段。很多模型在 Notebook 里表现惊艳一到线上就崩盘。7.1 在线推理流水线一个相对完整的量化部署链路大致包含数据采集服务拉取行情和新闻数据。特征计算服务实时计算因子。模型推理服务基于最新特征输出信号。风控校验模块检查信号是否越界、持仓是否超限。交易执行模块对接经纪商接口执行算法拆单。其中任何一个环节都可能成为瓶颈。最常见的问题是“特征服务延迟”。7.2 简化配置示例这里用一个 YAML 来模拟特征服务和模型推理的流水线配置演示工程化思路# 文件路径pipeline_config.yaml pipeline: name: factor_prediction_pipeline schedule: 0 15 * * 1-5 data_source: type: daily_bar symbol: 000300.SH timezone: Asia/Shanghai feature_job: engine: pandas input_columns: [open, close, high, low, volume] output_columns: [momentum_10_z, volatility_20] missing_policy: ffill model_inference: model_path: models/lgbm_final.txt output_field: signal_score threshold: 0.6 risk_check: max_position_ratio: 0.05 max_drawdown_guard: 0.10 reject_on_data_stale: true executor: broker_adapter: simulation cost_bps: 10这个配置的表达重点是信号生成后必须经过风控校验才能到达交易执行层。生产环境中模型异常、数据延迟、极端行情都应该默认拒绝执行而不是“先试一单”。7.3 模型监控与漂移检测线上模型不是部署完就结束了。需要持续监控特征分布是否发生漂移。预测值的分布是否异常。信号换手率是否突然升高。模型 AUC 或 IC 是否下滑。这些监控可以复用常规机器学习监控体系。差别在于金融场景对延迟和敏感性要求更高。这一章的小结论是线上交易系统必须把“模型信号”与“风控闸门”分离。模型只负责输出信号风控才决定是否执行。这也是 Two Sigma 这类机构之所以重视工程能力的原因。8. AI Agent 与新一代投研工具的边界结合当前热门的 AI Agent 话题有必要讨论一下 Agent 在投研里的真实位置。8.1 Agent 在投研中适合做什么AI Agent 可以将多步骤任务自动化例如自动抓取上市公司公告提取营收、利润、分红等关键指标。对大量研报做摘要生成结构化纪要。根据新闻事件自动搜索历史相似事件整理历史表现。把数据库查询、模型预测和报告生成串联成一个研究机器人。这些任务的价值在于节省分析师大量重复劳动把精力集中在逻辑判断上。8.2 Agent 在投研中不适合做什么不适合的是让 Agent 直接做独立投资决策。原因有三点模型幻觉可能输出不存在的财务数据和新闻。Agent 的错误不可追溯难以审计。投资决策需要承担法律和合规责任Agent 无法承担。所以更稳妥的定位是Agent 是研究助手不是决策主体。它输出的内容必须经过人工确认或者至少经过事实校验模块的检查。8.3 一个最小 RAG 检索示例下面是一个简单示例演示如何用向量检索做公告检索。它体现了 Agent 的“知识库”能力。# 文件路径rag_retrieval.py import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity docs [ 公司发布年度报告营收增长 20%, 公司宣布回购股份预计金额 10 亿元, 行业政策变化影响未来盈利预期, ] query 最近有哪些公告提到回购 vectorizer TfidfVectorizer() doc_vectors vectorizer.fit_transform(docs) query_vector vectorizer.transform([query]) similarities cosine_similarity(query_vector, doc_vectors).flatten() best_idx int(np.argmax(similarities)) print(f与查询最相关的公告{docs[best_idx]}) print(f相似度{similarities[best_idx]:.4f})这个示例用的还是最基础的 TF-IDF切换到真实场景时可以替换为嵌入向量和 FAISS 等向量检索工具但整体思路是一致的把非结构化文档变成可检索的知识库再让 Agent 基于检索结果生成分析报告。检索能显著降低幻觉因为它把答案限定在知识库范围内。8.4 Agent 工程化的安全提醒AI Agent 开发里面最容易被忽视的是权限边界。投研场景尤其如此Agent 可以读数据、生成报告但不能直接下单、不能删除数据、不能修改风控参数。这类限制可以通过权限系统、人工审批流和操作审计日志来实现。涉及资金或合规的生产环境不要给 Agent 过大的自主权。9. 风险控制、合规与伦理边界从访谈主题能感受到成熟的 AI 投资机构不会把 AI 当作“确定性引擎”而是把它放在严格的风险管理体系内。9.1 风险控制是 AI 投资的底线回测可以展示收益但风险管理决定机构能否活下来。几个基本的风险控制手段仓位限制单标的、单行业、单因子不能过度集中。压力测试模拟极端行情下的策略表现。尾部风险保护用期权或对冲工具降低极端损失。熔断机制当模型连续失效或市场出现异常时暂停交易。9.2 合规审计在金融行业使用 AI合规是硬约束。模型决策需要可解释、可溯源。日志要完整任何信号、任何调仓都要能复现。数据使用需要遵守数据授权和隐私法规。AI 系统不能在未授权情况下访问敏感账户数据。如果你是个人开发者至少要做到不让模型直接对接真实资金不把实验结果说成实盘能力。这个原则能避免很多不必要的风险。9.3 伦理边界AI 模型可能学到市场操纵行为。例如模型发现某些小额高频交易容易获利但本质上是在利用市场不公平的信息优势这需要人工甄别并拒绝。技术上的可行性不等于商业上的合规性更不等于伦理上的正当性。这一章的结论是模型越强风控的权重就应该越高。任何放弃可控性的 AI 方案在金融场景里都是灾难。10. 常见问题与排查思路下面是 AI 量化实践中最常见的几个问题以及对应的排查路径问题现象可能原因排查方式解决方案回测表现极好实盘差距巨大特征或标签存在前视偏差检查训练集切分是否按时间顺序检查特征是否用了未来数据改用滚动窗口统计使用时间序列切分在线特征和离线特征不一致离线脚本与在线服务代码逻辑不同对比线上特征日志和离线计算结果统一特征计算 SDK抽象成公共库模型上线一个月后信号失效市场结构变化特征分布漂移监控特征分布和模型 IC 变化做模型重训练与版本回滚机制预测信号换手率极高因子噪声大或模型过拟合查看单笔交易成本与换手率关系增加信号平滑提高交易阈值数据源偶发延迟导致信号缺失上游 API 不稳定检查数据监控告警增加缓存与缺失值兜底策略Agent 生成虚假公告摘要大模型幻觉对摘要进行事实校验检索原文片段使用 RAG 限定答案范围人工审批这些问题的共同特点是它们都不是单靠换一个更强的模型能解决的而是工程流程问题。11. 从访谈到工程实践普通开发者可以怎么做如果你不是量化机构的研究员只是想从这场访谈主题中学到可复用的方法论可以从下面几步开始。第一步找一个可靠的数据源。你可以选择公开的历史行情数据不要上来就追求高频 tick 数据日线数据足够验证大部分方法论问题。第二步跑通一个最小闭环。从数据清洗开始到计算动量/波动率因子再到训练一个简单的树模型最后用 time series 切分做回测。这个闭环的价值不在于盈利而在于让你亲手撞到几个典型问题比如前视偏差和特征一致性。第三步把每个环节都写成可复用的代码模块。不要只写 Notebook尽量抽象成数据清洗、特征工程、模型训练、回测评估、配置管理这样的 Python 包结构。这是从“会跑实验”到“会做工程”的分水岭。第四步加入成本模型和风控逻辑。即使只是模拟也要从第一天开始留出这部分。一个可行的学习路径是学习 pandas 和 numpy 处理时序数据。学习 sklearn 和 LightGBM 构建分类模型。学习TimeSeriesSplit的正确用法理解为什么随机 K 折不适用于金融数据。学习简单的回测指标计算如累计收益、最大回撤、夏普比率。学习如何用向量检索构建 RAG处理新闻和公告文本。把模型部署成 API并加上监控和告警。这里还要提醒一句不要把本文内容理解为“只要能跑通代码就能靠 AI 投资赚钱”。真实金融交易涉及资金安全、合规、流动性和市场冲击这些都不是个人项目能简单模拟的。12. Two Sigma 式 AI 工程给我们的启示从这场访谈的主题出发能看到 AI 赋能投资最本质的路径用系统化工程替代拍脑袋决策。它不是把希望寄托在某个“超级模型”上而是靠数据质量的严格把控、特征逻辑的谨慎推导、回测流程的防泄漏机制、部署阶段的权限和风控让每一次研究结论都尽可能可复现、可审计。对做 AI 工程的开发者来说这种思路的迁移价值也很明显。你做 AI Agent 时可以先考虑权限边界 你做模型部署时可以先考虑监控和回滚 你做数据管道时可以先考虑对齐和版本管理。这些习惯的积累比换一个更大的模型更有长期价值。如果只记住一句话那就是AI 的真正杠杆不在模型参数而在工程系统能否让每一次决策都有迹可循、可控可回退。下一步建议是把本文提到的代码示例复制到本地跑一遍最小闭环亲自观察数据泄漏和回测成本带来的差距。实践一次比读十篇文章更有用。