做投研系统这些年我见过太多团队一上来就讨论“我们要上哪个大模型”“要让AI自动选股”结果折腾几个月系统要么变成一堆模型的实验田要么成了没人愿意用的摆设。真正的问题从来不在于模型够不够强而在于你有没有把投研的流程拆清楚让AI找准自己的位置。这篇文章就是我自己设计AI投研系统过程中的杂记聊聊哪些环节值得做、哪些环节是伪需求、哪些坑我已经替你们踩过了。所谓“有效”不是指模型回测曲线漂亮而是指这套系统能稳定融入研究员和基金经理的日常工作让决策变得更快、更有依据、更容易复盘。我会把这套系统拆成目标、数据、模型、实证、落地五个部分来讲既有架构思路也有实操细节和避坑经验适合正在搭建或打算搭建AI投研系统的团队参考。1. 先想清楚一套AI投研系统到底在解决什么问题1.1 投研工作的真实流程和AI的切入点投研的日常表面上是研究公司和行业实质上是一套信息处理流水线获取公告、财报、新闻、调研纪要、卖房报告把这些非结构化信息整理成结构化判断再结合行情数据形成多空观点最后构建组合、跟踪风险、复盘归因。这个流程里的瓶颈很少是“分析师不够聪明”而是“人眼和人工阅读的速度跟不上信息量”。一个研究员每天要盯几十家公司每家公司每季度有上百页财报还有高管问答、业绩会、行业政策、产业链上下游新闻光是把信息读完就很吃力更别说把历史信息全部记住并横向对比。AI投研系统的第一个价值就是把“人肉阅读和整理”这块成本降下来。比如用自然语言处理把公告中的关键数字抽出来把不同时期的管理层预期变化做成对照表让研究员把精力留在判断和推理上而不是耗在摘数据和复制粘贴上。这里要特别注意AI的切入点不是“替代人做判断”而是“替代人做记忆和扫描”。研究员的价值在于理解产业规律、判断公司竞争力、识别管理层言行是否一致这些很难被模型直接替代。投研系统应该先把数据整理、事件监测、异动扫描这类脏活接过去再谈更高级的预测。1.2 系统定位决策辅助而不是自动决策很多团队一开始就追求“全自动”让AI直接输出买入卖出指令甚至自动下单。我做过类似的尝试结果并不好。原因不是AI预测不准而是市场环境复杂多变模型的假设随时可能失效如果没有人盯住一个原本有效的策略可能在极端行情里突然失控。更现实的问题是投资决策涉及合规、风控、仓位限制等约束条件这些逻辑很难完全被塞进一个黑盒模型里。所以我把系统的定位定为“决策辅助”AI负责提供候选标的、风险评估、事件提醒以及背后的推理链条人负责做最终判断。这个设计有个额外的好处研究员愿意用。如果系统给出的是一个高深莫测的评分没有人敢轻易采纳但如果系统能给出“该公司近三年毛利率连续下滑主要原因是原材料成本上升同时应收账款周转天数是同行的两倍过去发布相关财报后股价平均跑输行业指数3%”这样的证据链研究员会觉得它像一个靠谱的助手而不是一个抢饭碗的怪物。你可以把AI投研系统理解为“副驾驶”而不是“自动驾驶”。副驾驶能帮你盯路况、提醒限速、建议变道但方向盘始终在你手里。一旦发生突发状况人的判断和应变能力才是最后一道防线。1.3 评价指标不是预测准确率而是决策效用最开始做模型时团队喜欢盯着准确率看比如“预测未来五天上涨的准确率有68%”。后来发现这个数字在真实交易里毫无意义。因为准确率等于正确预测次数除以总预测次数却没有考虑预测正确时的收益和预测错误时的亏损。我见过一个模型准确率高达70%但它的错误几乎都发生在波动最大、涨跌幅最极端的日期一次亏损就吃掉了前面十次正确预测的全部收益。投资里真正关心的是决策效用这个信号能不能转化为稳定的风险调整后收益。所以应该用IC信息系数、Rank IC、多空组合净值、换手率、最大回撤、夏普比率来评估模型。IC是预测值与未来收益的相关系数通常来说IC均值超过0.05才说明模型具备一定的选股能力超过0.10已经非常难得。但IC高还不够还要看信号的衰减周期如果预测目标是一个月的收益但信号的有效期只有三天交易成本就会吃掉收益。我的经验是把这个评价体系写进系统的第一行代码让每一次模型迭代都自动输出一套投资效用的报告而不是只给一个准确率。否则团队很快就会被“看起来准确、实则鸡肋”的模型带偏。2. 系统架构与数据底座AI投研的地基2.1 核心架构数据层、特征层、模型层、决策层一套能落地的AI投研系统我习惯分成四层数据层、特征层、模型层、决策层。每一层各司其职层与层之间通过明确的接口衔接避免工程师把代码堆成一坨乱麻。数据层负责收集和存储行情、基本面、另类数据。这里的关键是保证数据完整、准时、可追溯。特征层负责把原始数据加工成因子、标签、事件切片。这一层要严格防止未来函数保证任何一个特征在历史时点都能原样重算。模型层负责预测、排序、风险估计。模型层不应该直接触碰原始数据只吃特征层产物。决策层负责把模型输出变成可执行的信号结合仓位和风控生成建议。这里要考虑交易成本、持仓约束、行业集中度等现实因素。这个分层最大的好处是可以独立迭代。数据源坏了不影响模型模型换了不影响决策层。我之前见过一个团队把数据清洗逻辑写在训练代码里结果每次换数据源都要把所有模型重跑一遍非常痛苦。分层之后至少出问题的时候你能快速定位是哪一层出了状况。技术栈方面别一上来就上大数据全家桶。按团队规模来数据量在几十GB这个量级时用PostgreSQL存行情和基本面用ClickHouse存高频序列用Pandas或者Polars做特征计算用LightGBM训练模型用Airflow管理调度完全够用了。等数据规模到了需要Spark的程度再引入分布式系统也不迟。2.2 数据治理的坑基本面数据的结构化、另类数据清洗、时点问题数据治理是整个系统里最不性感、最容易拖延、也最重要的事情。先说基本面数据的结构化。财报里“营业收入”看起来是个简单字段实际处理起来到处都是细节不同公司用不同币种、不同财年、不同会计口径并购重组还会导致同比口径变化。如果你只是简单地把报表API的数据拉下来拼接很容易把“同比增速”算错。我踩过一个特别典型的坑拿财报发布日期作为数据时间戳结果把未来数据带进了历史样本。原因是财报PDF上的“发布日期”和实际公开披露时间可能差一天数据库里的时间戳以公告信息为准但做回测时如果用快了半天的数据训练集和测试集就污染了。后来我强制规定任何字段入库时必须同时保存两个时间一个是数据库写入时间一个是数据所对应的事件生效时间。模型训练和回测一律使用事件生效时间宁可少用一天数据也不能让未来数据穿越到过去。另类数据的清洗更头疼。新闻、招聘、卫星图像这类数据格式五花八门缺值多、错误也多。处理它们的原则是“从可信度评估开始”标注数据来源、采集时间、解析置信度再有选择地纳入特征。比如新闻情绪因子如果一条新闻在开盘前被重复转载你可能把它当成多条独立新闻导致情绪得分膨胀。这时就需要做文本去重按相似度合并来源只计算首发信息的冲击。2.3 特征工程与标签定义预测目标要跟可执行动作对齐特征工程直接决定模型上限而标签定义决定了整个系统的方向。我见过太多团队把“预测未来上涨概率”当作标签却没有定义清楚“未来”是多久、收益如何计算、在哪些股票池里。这样训练出来的模型信号和真实交易动作之间是脱节的。一个可执行的对齐方式是定义标签为“从t日收盘到tN日的相对收益”例如未来20个交易日相对所属行业指数的超额收益。为什么要用相对收益因为绝对收益受市场整体涨跌影响太大模型很容易学到“牛市里做多、熊市里做空”这种后视镜规律。相对收益更符合选股逻辑无论市场涨跌你都希望选出跑赢同行的公司。特征方面我习惯分成几类量价特征动量、波动率、流动性、基本面特征营收增速、利润率、杠杆率、分析师预期特征盈利预测修正、目标价变化、另类特征新闻情绪、搜索热度、产业链传导。每一类特征都要有经济逻辑支撑能用一句话解释清楚它为什么能预测未来收益否则我不放进模型。实践下来真正长期有效的因子往往还是来自基本面与分析师预期的边际变化量价因子衰减很快。关于计算细节我给出一个简单的特征构造示意import pandas as pd # 假设已有日线行情 df包含 ticker、date、close、industry # 计算个股相对行业指数的20日动量 df df.sort_values([ticker, date]).copy() df[momentum_20] df.groupby(ticker)[close].transform( lambda x: x / x.shift(20) - 1 ) # 计算行业动量按行业分组对个股动量取均值 df[industry_momentum_20] df.groupby([industry, date])[momentum_20].transform(mean) # 相对行业动量 个股动量 - 行业动量 df[rel_momentum_20] df[momentum_20] - df[industry_momentum_20]这段代码看起来简单但里面藏着一个关键点你用的是“t日及之前的信息”来构造t日的特征没有用未来数据。所有特征都必须确保这一点。我后来给特征层加了一规范每个特征在生成时自动记录“信息截止时间”回测引擎会校验特征时间戳和预测时间戳的关系违反时直接报错。这件事值得投入因为前视偏差太隐蔽等模型上线后才发现就晚了。3. 模型设计与LLM的落地姿势3.1 预测模型树模型、神经网络、时序模型怎么选选择模型不要赶潮流。我在投研系统里分别用过LightGBM、LSTM、Transformer和简单的线性回归结论是如果特征工程做扎实表格形态的特征用LightGBM往往已经是一个很强的baseline神经网络在非结构化数据上优势明显但用于表格因子时不一定能打赢调参良好的树模型而且训练成本高、可解释性差。走投研项目我的建议是先搭一套标准化的训练流程统一用LightGBM跑所有特征得到一个基准。然后在基准上尝试深度模型比如用LSTM或Transformer处理重采样后的日线序列用GAT处理产业链关系但每个深度模型都要在相同的回测框架和成本假设下跟树模型对比只有显著提升才留用。时序模型在投研里确实很诱人但它特别容易过拟合。股票价格序列信噪比极低模型很容易记住历史噪声而不是学到可以泛化的规律。我见过有人用Transformer在训练集上做出1.5的夏普比率一上样本外测试直接变负。防过拟合不是靠调参而是靠统一的回测纪律和严格的样本外验证。大模型在这个位置的用法更多是特征提取和文本理解而不是直接输出收益预测。你可以用语言模型把新闻、公告、研报里的信号转成结构化因子再由树模型去拟合这些因子和未来收益的关系。这种“NLP因子 传统模型”的组合是我见过最稳定、最不容易翻车的方案。3.2 大语言模型在投研里真正能做的几件事大语言模型火了以后很多人问“能不能让GPT帮我选股票”。我的回答是可以但千万别直接让它输出买卖建议。LLM真正成熟的能力是文本理解、信息抽取、知识关联而不是概率预测。现阶段它能稳定产出的价值集中在以下几个方面非结构化信息抽取从公告、财报、调研纪要里抽取管理层业绩指引、资本开支计划、客户集中度变化等结构化字段。研报摘要与对比把几十页卖方报告压缩成一份三层摘要并自动对比不同机构之间的观点差异和逻辑基础。产业链关系梳理从大量文本中抽取上下游关系、供应商客户关系构建一致更新的产业链图谱。会议纪要提取从音频转录或文字实录中提取核心分歧点、管理层态度变化、关键数据。研究助手问答让研究员用自然语言查询系统里的数据比如“过去一年哪些公司的应收账款增速超过营业收入增速且毛利率下滑”系统直接返回候选列表。这些功能的共同点是输入是可验证的文本输出也是可验证的事实模型判断错误可以被人快速发现不至于造成严重后果。而“预测股价涨跌”这种功能即使大模型能在历史样本上做得漂亮也没有足够证据证明它在未来有效我不建议把它作为核心。3.3 组合使用LLM生成研报摘要、事件抽取、观点聚合一个典型的多模态文本处理管线是这样的先用爬虫把公告、研报、新闻抓下来做格式清洗和正文抽取再调用LLM做字段抽取和事件分类最后把结构化结果写入事件库供因子层使用。抽取指令要严格定义输出格式最好要求模型输出JSON并附上原文证据片段。我常用的大致prompt结构是你是一个投研信息抽取助手。请从以下公告中抽取 1. 营业收入数值 2. 归母净利润数值 3. 管理层给出的未来业绩指引文本转录 4. 与上期相比是否有上调/下调 输出为JSON格式包含字段 source_text用于标注支持该结论的原文片段。 对于缺失字段输出 null不要猜测。这里的关键词是“不要猜测”。因为投研数据容不得幻觉宁可漏掉一条信息也不能编出一条信息。抽取结果入库前我需要做三重校验第一检查数值是否与原始文本中的数字一致第二检查日期和单位第三用一套简单的规则引擎过滤掉明显不合理的输出。例如如果营收数字大于公司总市值的100倍那就先标记为可疑让人类复核。观点聚合方面LLM可以把多家券商对同一家公司的评级和历史观点变化汇总成一张时间线并标出分歧点。比如“过去三个月有12家机构覆盖其中8家维持买入3家下调至中性1家上调至买入主要上调原因是新产品订单超预期”。这种形式的输出对研究员来说是直接可用的信息增量它可以大量缩短阅读时间。3.4 避免幻觉与合规风险的机制任何把LLM接入投研系统的团队都必须建立一套防幻觉和防合规风险的机制。防幻觉的核心是“引文必带出处”模型生成的每一个关键结论都要在原文中找到对应的段落做到“指哪打哪”。我在系统里要求所有LLM输出必须包含“source_text”字段随后用检索比对逻辑校验引用是否真实存在避免模型自己编造原文。防合规风险的核心是“禁止越界”系统不做个股买卖评级不生成目标价更不发表任何形式的投资建议。如果研究员提问“你觉得这只股票能涨吗”系统应该礼貌地拒绝并转向提供相关事实性信息比如“该公司最近毛利率变化如下分析师一致预测如下请结合你的判断”。同时系统所有交互都需要记录日志包括输入、输出、模型版本、所用提示词方便回溯。我之前踩过一个坑模型在一个很偏的问答里“一本正经”地说某家公司的净利润增长达到120%但实际是12%。问题出在模型的数值归一化步骤少了一个逗号处理把“1.2亿”当成“120亿”。从那以后所有数值抽取都要经过规则引擎二次校验并把原始文本片段附在结果旁边让人可以一眼看到对不对。4. 回测与实证有效性的唯一检验标准4.1 回测框架的陷阱幸存者偏差、前视偏差、过拟合回测结果好看不代表系统有效我见过太多在真实交易中翻车的策略问题大多出在回测框架的三大陷阱上。幸存者偏差测试股票池用的是当前还在上市的公司但历史上曾经退市、被并购的公司被剔掉了。这会导致回测收益被系统性高估。正确做法是用历史某一天的股票列表作为当时的候选池包括后来退市的那些。前视偏差训练或回测时用到了未来才能知道的数据。常见来源包括财报数据公布时间没对齐、特征计算使用了整个时间区间内的统计参数、股票权重调整用了未来收盘价。解决方法是给每个数据打上“可用时间戳”回测引擎只允许使用截止到信号生成时刻的数据。过拟合在多轮参数搜索中总有一个参数组合能在历史数据上表现最好但未来不一定有效。减少过拟合的方法包括限制搜索空间、采用多重样本外验证、减少因子数量、对模型复杂度设惩罚。我还想强调交易成本的重要性。回测里如果不扣佣金、滑点和涨跌停限制很多高换手策略会显得很神但真实执行肯定亏。我习惯在回测基准中加入双边0.1%的固定成本外加模型根据个股流动性估算的冲击成本这样回测结果才有参考意义。4.2 样本外测试与模拟跟踪paper trading的细节单次划分训练集和测试集远远不够。投研模型会随时间失效所以要用滚动窗口做样本外测试比如用过去3年数据训练测试未来3个月然后窗口向前滚动重新训练再测试这样能模拟模型在真实环境中的连续表现。样本外测试依然不够因为历史数据不会提前告诉你市场风格转向。更可靠的是做模拟跟踪也叫paper trading系统每天基于最新信号生成一个虚拟投资组合按真实市场数据计算净值连续跑上三到六个月。模拟跟踪要注意几点按委托级别记录而不是按收盘价直接成交。比如信号在收盘后生成次日开盘时成交期间要计入隔夜跳空的风险。处理涨跌停、停牌、最小交易单位、手续费和印花税否则交易结果会被高估。保留完整日志包括信号、当时的模型版本、输入特征和决策依据方便事后审计。我第一次做模拟跟踪时发现一个在历史回测里年化30%、最大回撤8%的策略模拟三个月后年化只剩9%最大回撤变成18%。原因是历史回测用的收盘价成交假设太乐观真实开盘时经常吃不到理想价格。这个教训让我意识到回测只是筛选器模拟跟踪才是真正的照妖镜。4.3 归因分析到底赚的是模型的钱还是运气的钱策略赚钱了你得知道它为什么赚钱。归因分析要做两件事一是把收益拆解到因子和风格暴露上二是判断统计显著性排除运气成分。拿选股策略来说假设你有两个因子价值因子和动量因子。如果组合里大量持有低估值股票那么即使模型没做太多贡献只要市场风格偏向价值组合也会赚钱。这时不能算模型有效只能说模型在进行风格暴露。用Brinson归因可以拆解组合收益中来自行业配置、个股选择的贡献进一步定位真正的alpha来源。统计显著性上我把模型信号当作一种投资组合权重计算它的IC均值和t统计量。如果IC均值很低t值小于2哪怕回测收益不错我也倾向于认为它是运气。为了避免幸存者偏差和重复检验的运气因素我还会做随机化排列检验把所有信号顺序随机打乱一万次观察测试期间收益在随机分布中的位置如果真实的收益位于分布边缘才认为模型有真本事。压力测试也很关键。把历史上几次极端行情比如流动性骤降、某行业黑天鹅作为样本看看模型在这些场景下的表现。如果模型在危机时回撤远超预期那么它就不是一个稳定的系统你的养老心态要打折。5. 常见问题与落地心得5.1 数据与工程层面常见坑在我接触过的团队里数据和工程问题首当其冲。整理一张速查表供对号入座问题描述常见原因建议解法财报字段缺失或错位不同数据源格式不统一、报告期和公告期混淆建立主数据字典统一单位与口径逐字段校验行情复权不对前复权和后复权使用不一致明确全系统统一使用后复权并保存原始价特征计算用到未来信息时间戳错误、groupby顺序没排好给特征生成引擎增加时间一致性断言数据更新延迟外部接口不稳定、调度失败建立数据新鲜度监控看板超时告警模型结果无法复现随机种子不一致、代码版本变动锁定依赖环境、保留每次训练的配置文件数据漂移市场结构变化、数据源口径调整定期对关键因子分布做KS检验或PSI监测工程上最重要的一条心得是把“可复现性”放在最高优先级。不仅是代码可复现还包括数据快照、特征版本、模型参数、随机种子的全套记录。我要求每次实验都生成一份运行报告包括git commit号、数据版本、特征参数、模型参数、回测和模拟记录。这样后期出任何问题你都能一步步往回查知道哪个改动导致结果变好或者变坏。5.2 模型与决策层面常见坑模型层的问题通常不是“模型不够先进”而是“信号不干净”和“结果难解释”。信号不干净里最典型的是标签泄漏和因子拥挤。标签泄漏多见于处理面板数据时不小心把未来收益混进特征因子拥挤则是大量团队使用同一类量价因子导致因子收益被迅速套利。缓解办法是丰富数据维度增加基本面、分析师预期、另类数据等低频但壁垒更高的信息源。结果难解释会直接影响系统被使用。研究员看到一堆黑盒评分很难说服自己执行。我的应对方式是让模型输出“可归因的证据链”除了预测打分还要列出该样本中最重要的特征贡献、该特征在当前时点的取值以及历史类似样本的分布情况。LightGBM的SHAP值在这个场景下很实用尽管每天重复计算SHAP有成本但对提升信任度帮助极大。另一个常见坑是忽略模型衰减。市场逻辑是动态的去年有效的因子今年可能失效。我建立了一套滚动跟踪机制每天计算最近60个交易日的滚动IC并跟模型训练时的平均IC对比。如果滚动IC连续一周低于阈值系统自动触发“模型衰减警报”提醒研究员检查是否需要重新训练或转向其他信号源。5.3 团队协作与流程管理心得AI投研系统的建设从来不是纯技术问题它背后必须有数据、研究、工程和风控的协作。我的经验是一开始就搭一套相对正式但不过重的流程数据变更评审任何数据字典、清洗逻辑变更都要经过审查避免悄悄改变历史特征导致前后对比无效。模型实验记录每次训练都要留存实验卡记录数据集、特征、参数、结果、结论避免团队重复造轮子。因子添加规范新因子必须写出逻辑假设、测试方法、预期效应大小经团队讨论后纳入候选池。周度信号复盘每周围绕模拟组合的真实表现开展复盘区分是模型原因还是市场原因把结论反馈到特征层和决策层。这套流程不会拖慢速度反而能避免大量无效工作。我见过一个团队数据工程师修改了财报处理逻辑但没有通知量化研究员导致研究员用旧逻辑训练了一个月最后发现数据全变了所有结果作废重来。有了变更评审这类事故基本可以避免。团队里一定要有一个“翻译官”角色他既懂业务问题又懂技术实现能把研究员的模糊一问变成可执行的数据任务。否则技术团队费劲做出来的东西研究员用不上研究员真正想要的技术团队又理解偏了。5.4 一个最小可用系统的落地清单如果你刚从零开始可以按以下阶段控制节奏每阶段都有明确交付物不要试图一步到位数据底座阶段1-2个月完成核心行情和基本面数据的入库、清洗、质量监控配备数据字典和时间戳规范。交付物是一套任何人都能查的历史数据库。特征和基线模型阶段2-3周实现20-30个核心因子定义清晰的标签训练一个LightGBM baseline搭好统一回测环境。交付物是一份包括IC、换手、回撤的模型评估报告。LLM应用阶段1-2个月接入公告和研报文本用LLM做结构化抽取建立事件库和基础问答接口。交付物是一个可查询的投研信息助手能做到“提问-检索-引用输出”。模拟交易和风控阶段持续把策略接入paper trading加入仓位管理和风险限额。交付物是连续三月以上的模拟绩效报告和归因分析。这个路径最大的优点是每一步都能产生可感知的价值而不是花半年时间憋一个大系统。数据底座阶段虽然枯燥但它决定了后续所有工作的可靠性。如果数据不干净后面每一步都是在垃圾上盖楼。我个人最后的体会是AI投研系统真正有效的部分不是那套花哨的模型而是它倒逼你把数据、逻辑和流程全部理清楚。很多金融机构早就积累了海量数据和丰富的投研经验但分散在个人头脑和Excel里。AI系统最大的贡献是让这些信息资产流动起来变成可验证、可迭代、可积累的知识。如果你准备开始搭这样的系统别急着追求大而全也别被市面上各种“智能投顾”的概念忽悠。先从一个小切口入手比如“自动化提取业绩公告里的超预期信号”做出第一个被研究员认可的功能然后一点点扩展。等你回头再看会发现系统已经在不知不觉中深度嵌入了团队的研究日常成为名副其实的“投研副驾驶”。