RAG牛了，天大RE-Rag更懂用户

今天为大家分享的是杭州电子科技大学、天津大学、香港城市大学联合出品的社交媒体热度预测论文–RE-Rag它把social attribute从辅助特征升维成传播机制代理变量让RAG检索终于能分清内容像和传播路径像。同一张蓝铃花林的图片发在不同作者、不同类别标签下热度可能差几个数量级。现有RAG方法用语义相似度检索结果把图也像、文也像、但热度完全不同的样本拉回来当辅助特征反而把模型带偏。RE-Rag要解决的就是这种伪相关检索问题。痛点在哪一句话判断语义相似不等于传播机制相似。论文Section 1一句话点透相似内容可以挂在不同social context下触达不同用户群走不同扩散路径最终热度天差地别。现有方法的处理方式有三种问题第一类MMRA、ICPF只用语义相似度检索完全忽略social attribute第二类RAGTrans用hypergraph聚合social attribute但只是粗粒度聚类抓不住底层distribution mechanism第三类SKAPP用BM25加权social attribute但还是把它当内容相似度的辅助cue没显式建模传播机制论文核心判断社交属性应该作为平台分发机制建模的代理变量而不是内容相似度度量的辅助特征。。核心思路RE-Rag提出dual-factor模型社交媒体热度由两个独立因子决定–content quality内容本身有多吸引人distribution mechanism平台把内容推给了多少用户由author/category/language等social attribute决定这个视角让social attribute从feature升维成mechanism indicator整个框架围绕如何让检索和预测都感知这个机制展开。框架分两段**Semantic-Attribute RetrieverSAR**负责从数据库里捞语义像机制像的实例**Relation-Guided PredictorRGP**负责用relation map引导attention按属性关系分配权重。两段都把social attribute作为一等公民而不是事后补丁。方案细节SAR检索SAR分两阶段。第一阶段是语义匹配对target和候选UGC分别算text和image的cosine相似度再用α加权求和image权重αtext权重1-α最优α0.3text贡献更大。这一步还是常规多模态相似度。第二阶段是属性补偿这是RE-Rag的关键创新。对每个social attribute计算rarity分global和local两个视角Global RarityGRIDF形式log(N_total / (freq1)) 1衡量该属性值在整个数据库里的稀有度Local RarityLRlog(freq_max / (freq1)) 1衡量该属性值在同属性内的稀有度总rarity sqrt(GR · LR)几何平均保证两个视角都重要compensation weight对每个属性独立计算(1 Norm® · T(候选, 目标))T是matching function–属性值不同为1相同为0。直觉稀有属性的差异更能区分传播机制所以稀有且不同的属性会放大补偿权重。最终匹配分 语义匹配分 × ∏补偿权重按这个分取**top-NN40**作为检索结果。RGP预测RGP的核心是把属性关系嵌入attention。先构造relation map对任意两个实例retrieved target在每个属性上打0/1/2分0两个实例属性值不同1相同但与target不同2相同且与target相同self-relation mapN×N×m只含retrieved实例给s-RGT用cross-relation map1×N×m含target给c-RGT用。RGT的trick是把relation map注入attention的Key。标准attention是 softmax(Q·K^T/√d)·VRE-Rag在K上做手脚先 M MLP(Embed(E))再K_refined K · M然后用refined K做剩下的标准transformer计算这样relation map通过M调制K进而影响attention权重分配。具体流程Semantic Encoder用cross-attention融合text和image特征每个retrieved实例的特征拼上自己的popularity和similarity score过MLP加positional encoding作为s-RGT输入s-RGT用self-relation map做self-refinementc-RGT以target特征为Q、s-RGT输出为K/V用cross-relation map做cross-refinement最后target特征和c-RGT输出拼接过MLP出预测L2 loss监督实验结果主结果SMPD上三指标全面领先相对次优提升30%左右更难的SMTPD282K样本、90语言也击败RAGtransICIP小数据集上SKAPP略胜因为attribute与distribution弱相关RE-Rag的优势要在大规模复杂场景才体现。效率亮点SMTPD上RE-Rag检索只要72秒比SKAPP快325倍比RAGtrans快60倍。又快又准的原因是SAR的rarity加权直接过滤掉伪相关样本不用像SKAPP那样做多阶段refinement。消融结论三件套都贡献明确–去retrieval MSE翻倍地基去attribute compensation涨25%纯语义不够去relation map涨7%属性关系嵌入attention有效去c-RGT比去s-RGT的MSE涨更多c-RGT更能压极端误差s-RGT和c-RGT互补。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】