数据清洗完成后我们有了干净的content_analysis表。但原始字段还不能直接回答业务问题——比如“什么样的标题更有效”“保姆级这个词到底有没有用”。这一篇我们要做特征工程把原始字段转化为更有分析价值的业务指标。第一部分实验背景一、实验目的在实验7-1清洗后的数据基础上使用助睿ETL完成以下两类特征的计算与存储1.任务一标题特征与互动总数更新明细表1计算互动总数total_interaction likes favorites shares coins2提取5个标题特征标志字段has_best保姆级、has_lowcode零代码、has_practice实战、has_tutorial教程/指南、has_pit踩坑3将计算结果更新到content_analysis表2.任务二关键词级别的汇总数据1分别计算含每个关键词的作品的平均互动总数2将互动汇总结果输出到title_feature_analysis表通过本次实验应掌握以下技能1理解特征工程在数据分析中的核心作用2使用助睿ETL的“计算器”组件计算衍生指标3使用“JavaScript代码”组件完成文本关键词的自动标注4使用“插入/更新”组件回填数据不新建表、不覆盖已有基础数据5使用“过滤聚合”组件组合完成分组统计计算二、实验环境实验平台助睿数智Uniplore一站式数据科学实验平台https://lab.guilian.cn/覆盖数据接入、ETL处理、机器学习建模到可视化分析的全链路零代码数据智能操作。产品官网https://www.uniplore.com/数据处理工具助睿ETL数据集成平台数据来源实验7-1输出的content_analysis表三、整体处理流程本次实验构建两类特征分为两条处理链路1.链路一更新明细表 从content_analysis表读取数据 → 用JavaScript代码组件提取5个标题关键词标志 → 用计算器组件计算互动总数 → 用插入/更新组件回填到content_analysis表2.链路二输出关键词汇总表 从content_analysis表读取数据 → 分别计算整体平均值和5个关键词各自的平均值 → 用记录集连接合并 → 用表输出写入title_feature_analysis表图 { SEQ 图 \* ARABIC |1} 作品特征构建整体流程示意图第二部分实验步骤4.1 更新content_analysis表标题特征互动总数1.步骤1导入数据操作说明将实验7-1输出的content_analysis表作为输入拖入助睿ETL工作区。助睿ETL支持跨项目引用数据集可直接选择实验一输出的结果表。图 { SEQ 图 \* ARABIC |2} 表输入组件读取content_analysis表配置要点id字段必须保留后续“插入/更新”组件要用id作为匹配依据title字段必须保留需要提取关键词特征确认表输入能正常预览数据避免后续组件因数据为空而报错。2.步骤2提取标题特征核心分析维度操作说明在“JavaScript代码”组件中直接使用JavaScript代码对title字段进行关键词匹配生成5个标题特征标志字段。在字段表中提前定义5个输出字段has_best、has_lowcode、has_practice、has_tutorial、has_pit类型均设为Integer。为什么选择这五个关键词在浏览全班同学的作品标题时“保姆级”“零代码”“实战”“教程/指南”“踩坑”这五个词高频出现且都与“教学价值”和“实操性”强相关。“保姆级”暗示内容详尽、适合新手“零代码”强调无需编程基础降低准入门槛“实战”强调动手操作而非纯理论空谈“教程/指南”表明内容具有教学属性“踩坑”暗示内容包含避坑经验实用性强。这五个词是分析标题影响力的理想切入点。JavaScript代码如下var title title; // 字段名直接作为变量使用// 判断关键词var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;// 将结果赋值给新字段输出字段需在字段表中提前定义has_best has_best;has_lowcode has_lowcode;has_practice has_practice;has_tutorial has_tutorial;has_pit has_pit;代码逻辑说明indexOf()方法返回指定字符串在目标字符串中首次出现的位置如果不存在则返回-1。所以! -1表示“包含该关键词”结果为true则赋值为1否则为0。has_tutorial的匹配逻辑是“教程”或“指南”任意一个出现即为1覆盖了教学类标题的两种常见表述。返回值说明has_besttitle中含“保姆级”为1否则为0has_lowcodetitle中含“零代码”为1否则为0has_practicetitle中含“实战”为1否则为0has_tutorialtitle中含“教程”或“指南”为1否则为0has_pittitle中含“踩坑”为1否则为0图 { SEQ 图 \* ARABIC |3} JavaScript代码组件的配置配置要点字段名直接作为变量使用输出字段需在字段表中提前定义每个特征独立提取便于后续在BI中做分组对比字段类型必须设为Integer否则后续计算会报类型不匹配错误。3.步骤3计算互动总数操作说明接入“计算器”组件新增interactions字段interactions likes favorites shares coins。为什么互动总数是这四个指标相加点赞、收藏、分享、投币代表了用户对作品的不同层次的正向反馈点赞是“我觉得不错”收藏是“我觉得有用”分享是“我觉得值得推荐给更多人”投币是“我愿意为这个内容付出实际资源”。四个指标加总综合反映作品引发的用户互动行为的总量级比单一指标更能代表作品的综合影响力。图 { SEQ 图 \* ARABIC |4} 计算器组件的配置-1图 { SEQ 图 \* ARABIC |5} 计算器组件的配置-2配置要点因为一次计算最多支持三个变量相加需要加入中间变量x分两次计算如先计算ABC得到中间变量再加D得到最终结果计算完成后预览数据确认interactions字段没有空值。4.步骤4数据更新操作说明使用“插入/更新”组件将计算好的特征数据回填到content_analysis表。“插入/更新” vs “表输出”的区别如果使用“表输出”每次运行转换流都会在表中新增行导致数据重复累积——第一次运行有100条第二次变成200条第三次变成300条。而“插入/更新”组件按id匹配如果id已存在则更新指定字段如果id不存在才插入新行。在本实验中content_analysis表的id是唯一的所以只会执行更新操作不会新增行。这样转换流可以反复运行调试不会产生脏数据。关键配置1目标表content_analysis2查询关键字id匹配依据3更新字段total_interaction, has_best, has_lowcode, has_practice, has_tutorial, has_pit更新列均设为“是”字段映射流字段表字段是否更新idid否查询关键字interactionstotal_interaction是has_besthas_best是has_lowcodehas_lowcode是has_practicehas_practice是has_tutorialhas_tutorial是has_pithas_pit是图 { SEQ 图 \* ARABIC |6} 插入/更新组件的配置配置要点后面的“更新”一列一定要填“是”不然数据不会更新查询关键字必须选择id这是匹配依据。5.步骤5执行转换流操作说明完整转换流如下点击运行。图 { SEQ 图 \* ARABIC |7} 更新content_analysis表的完整转换流图 { SEQ 图 \* ARABIC |8} 转换流运行成功的日志图 { SEQ 图 \* ARABIC |9} 更新后content_analysis表的数据查询结果4.2 输出关键词级别的汇总表1.步骤1创建目标表操作说明在助睿ETL中创建title_feature_analysis表。为什么要建新表而不是直接更新content_analysis是作品明细粒度每条记录代表一个作品。而title_feature_analysis是关键词粒度每个关键词在每个平台只有一条汇总记录。两种数据粒度不同服务不同的分析目的——明细表用于排名、趋势、概况分析汇总表用于关键词对比分析。所以需要新建一张独立的汇总表。该表包含以下字段1id自增主键2platform平台B站/CSDN3feature_name关键词名称4avg_interaction含该关键词的平均互动总数5overall_avg该平台整体平均互动总数6sample_count含该关键词的作品数图 { SEQ 图 \* ARABIC |10} 创建title_feature_analysis表的SQL脚本配置2.步骤2计算整体平均互动数操作说明接入“排序记录”、“分组”组件按id升序排序不设分组条件直接计算AVG(total_interaction)得到overall_avg。为什么计算整体平均值整体平均值是一个基准线用来衡量某个关键词是否有效。如果含“保姆级”的作品的平均互动数高于整体平均值说明这个词确实有效反之则无效。后续计算“提升倍率”时也需要整体平均值作为分母。聚合完成后接入“增加常量”组件新增字段feature_name 保姆级为这一行数据贴上名称标签。为什么要加常量因为聚合后的数据只有数值avg_interaction、overall_avg没有关键词名称。不加的话5个关键词的数据合并后无法区分谁是谁。常量就是给这一行数据贴上“标签”告诉下游“这一行是保姆级的数据”。图 { SEQ 图 \* ARABIC |11} 整体平均互动数计算分支的转换流3.步骤3计算关键词的平均互动数操作说明以“保姆级”为例从表输入组件复制分发一条分支先接“过滤记录”组件设置has_best 1只保留含“保姆级”的作品。然后接入“排序记录”、“分组”组件按id升序排序计算AVG(total_interaction)得到avg_interactionCOUNT(id)得到sample_count。聚合完成后接入“增加常量”组件新增字段feature_name 保姆级为这一行数据贴上名称标签。为什么要加sample_count字段平均值本身不能反映样本量大小。比如2个作品的平均互动数是100100个作品的平均互动数也是100但两者的可信度完全不同。sample_count让读者知道每个关键词的统计基础避免被小样本的平均值误导。图 { SEQ 图 \* ARABIC |12} 关键词平均互动数计算分支的转换流配置要点常量是给每一行贴上“标签”。复制粘贴整个分支加工其他关键词只需修改两处过滤条件如has_lowcode 1和常量值如“零代码”其他配置完全相同。4.步骤4合并整体平均值和关键词平均值操作说明使用“记录集连接”组件按feature_name字段匹配将整体平均值和关键词平均值合并。由于2个分支都只有1行数据所以无需排序。图 { SEQ 图 \* ARABIC |13} 记录集连接组件的配置5.步骤5数据入库操作说明用“表输出”组件将合并后的数据写入title_feature_analysis表。配置要点不勾选“裁剪表” 因为5个关键词分支是分别执行的如果勾选了裁剪表第一个分支写入后第二个分支执行时会清空数据最终表中只会保留最后一个关键词的数据。不勾选裁剪表所有关键词的数据都能保留。图 { SEQ 图 \* ARABIC |14} 表输出组件配置6.步骤6执行转换流操作说明点击运行执行转换流。图 { SEQ 图 \* ARABIC |15} 运行转换流图 { SEQ 图 \* ARABIC |16} title_feature_analysis 表的数据展示图 { SEQ 图 \* ARABIC |17} 数据展示第三部分实验结果一、输出表说明本次实验更新并新建了以下数据表content_analysis已更新在原表基础上新增了total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit共6个特征字段作品级粒度用于后续排名、趋势、概况等明细分析。title_feature_analysis新建关键词级汇总表按平台分别记录每个关键词的avg_interaction、overall_avg和sample_count用于标题特征互动分析。图 { SEQ 图 \* ARABIC |18} title_feature_analysis表的最终数据展示二、数据验证通过数据探查确认以下三点第一content_analysis表中每条记录都有total_interaction值无空值说明计算器组件配置正确。第二has_*字段均为0或1取值正常说明JavaScript代码组件的关键词匹配逻辑正确。第三title_feature_analysis表中每个关键词的sample_count与content_analysis中对应has_*1的记录数一致统计准确。以“保姆级”为例content_analysis中has_best1的记录数为159条B站和178条CSDNtitle_feature_analysis表中对应sample_count为159和178数据一致验证通过。三、实验结果分析1.技术维度分析本次实验通过JavaScript代码组件实现了标题关键词的自动化标注相比人工逐条判断效率提升巨大。计算器组件完成互动总数的衍生计算插入/更新组件实现了按id匹配的安全回填机制可反复运行不产生脏数据。在关键词汇总部分通过“增加常量”组件为聚合数据贴标签再以记录集连接完成合并形成规范的汇总表结构。2.业务维度分析从title_feature_analysis表可以看出不同标题关键词在各平台的表现差异。对比avg_interaction和overall_avg可以看出某个关键词是否对互动效果有正向提升作用。各关键词的sample_count反映了创作者对不同标题策略的偏好程度。图 { SEQ 图 \* ARABIC |19} content_analysis表数据查询结果第四部分问题与解决1.问题一JavaScript代码组件配置后数据表无数据问题现象执行转换流后content_analysis表中has_*字段全部为空。问题原因JavaScript代码组件的输出字段未在字段表中提前定义导致组件虽然运行但数据未输出。解决方法在JavaScript代码组件的字段表中提前插入5行字段名设为has_best、has_lowcode、has_practice、has_tutorial、has_pit类型均设为Integer然后再次执行转换流。2.问题二互动总数计算值为空问题现象部分记录的total_interaction为NULL。问题原因likes、favorites、shares、coins中存在NULL值导致加法运算结果为NULL。解决方法在计算器组件计算之前先将四个字段的空值替换为0再进行加法运算。3.问题三插入/更新组件配置错误导致数据重复问题现象多次运行转换流后content_analysis表中数据重复累积。问题原因误将“插入/更新”组件配置为“表输出”模式导致每次运行都新增行而非更新。解决方法确认组件为“插入/更新”模式查询关键字设为id更新字段列表正确配置更新列均设为“是”。4.问题四关键词汇总数据合并后无法区分关键词问题现象记录集连接合并后所有数据混在一起不知道哪行对应哪个关键词。问题原因聚合后的数据只有数值avg_interaction、overall_avg没有关键词名称字段。解决方法在每个关键词分支聚合完成后接入“增加常量”组件新增字段feature_name并填入对应的关键词名称如“保姆级”“零代码”作为每一行数据的“标签”。第五部分实验总结一、收获通过本次实验我掌握了以下核心技能1.特征工程思维理解了特征工程在数据分析中的核心作用——原始字段不一定能直接回答业务问题需要通过衍生计算创造新的特征变量。互动总数和标题关键词标志两个特征都是为了后续量化分析“什么样的标题更有效”而构建的。2.JavaScript代码组件掌握了用JavaScript代码组件完成文本关键词的自动标注。相比人工逐条判断标题自动化标注效率提升巨大且规则统一、可复现。3.插入/更新组件掌握了按id匹配回填数据的操作。与“表输出”不同“插入/更新”可以反复运行而不会产生重复数据适合需要迭代调试的场景。4.常量标签设计理解了在并行分支聚合后为数据添加常量标签的重要性——聚合后的数据只有数值没有维度常量标签解决了多分支数据合并后的识别问题。5.分支并行处理通过复制分支加工多个关键词形成了可复用的ETL模板代码复用效率高体现了ETL流程设计中“一次设计、多次复用”的思想。二、对平台的整体评价助睿ETL的组件化设计使得复杂的特征工程变得简单易行。JavaScript代码组件支持灵活的关键词匹配逻辑插入/更新组件完美解决了反复运行导致的数据重复问题增加常量组件为聚合数据贴上标签便于合并识别。整体操作直观高效零代码拖拽式操作降低了特征工程的技术门槛让分析人员可以专注于业务逻辑而非代码实现。关于助睿数智Uniplore助睿数智是一站式数据科学实验平台覆盖数据接入、ETL处理、机器学习建模到可视化分析的全链路Agentic零代码数据智能操作。产品官网https://www.uniplore.com/
数据清洗完成后我们有了干净的content_analysis表。但原始字段还不能直接回答业务问题——比如“什么样的标题更有效”“保姆级这个词到底有没有用”。这一篇我们要做特征工程把原始字段转化为更有分析价值的业务指标。第一部分实验背景一、实验目的在实验7-1清洗后的数据基础上使用助睿ETL完成以下两类特征的计算与存储1.任务一标题特征与互动总数更新明细表1计算互动总数total_interaction likes favorites shares coins2提取5个标题特征标志字段has_best保姆级、has_lowcode零代码、has_practice实战、has_tutorial教程/指南、has_pit踩坑3将计算结果更新到content_analysis表2.任务二关键词级别的汇总数据1分别计算含每个关键词的作品的平均互动总数2将互动汇总结果输出到title_feature_analysis表通过本次实验应掌握以下技能1理解特征工程在数据分析中的核心作用2使用助睿ETL的“计算器”组件计算衍生指标3使用“JavaScript代码”组件完成文本关键词的自动标注4使用“插入/更新”组件回填数据不新建表、不覆盖已有基础数据5使用“过滤聚合”组件组合完成分组统计计算二、实验环境实验平台助睿数智Uniplore一站式数据科学实验平台https://lab.guilian.cn/覆盖数据接入、ETL处理、机器学习建模到可视化分析的全链路零代码数据智能操作。产品官网https://www.uniplore.com/数据处理工具助睿ETL数据集成平台数据来源实验7-1输出的content_analysis表三、整体处理流程本次实验构建两类特征分为两条处理链路1.链路一更新明细表 从content_analysis表读取数据 → 用JavaScript代码组件提取5个标题关键词标志 → 用计算器组件计算互动总数 → 用插入/更新组件回填到content_analysis表2.链路二输出关键词汇总表 从content_analysis表读取数据 → 分别计算整体平均值和5个关键词各自的平均值 → 用记录集连接合并 → 用表输出写入title_feature_analysis表图 { SEQ 图 \* ARABIC |1} 作品特征构建整体流程示意图第二部分实验步骤4.1 更新content_analysis表标题特征互动总数1.步骤1导入数据操作说明将实验7-1输出的content_analysis表作为输入拖入助睿ETL工作区。助睿ETL支持跨项目引用数据集可直接选择实验一输出的结果表。图 { SEQ 图 \* ARABIC |2} 表输入组件读取content_analysis表配置要点id字段必须保留后续“插入/更新”组件要用id作为匹配依据title字段必须保留需要提取关键词特征确认表输入能正常预览数据避免后续组件因数据为空而报错。2.步骤2提取标题特征核心分析维度操作说明在“JavaScript代码”组件中直接使用JavaScript代码对title字段进行关键词匹配生成5个标题特征标志字段。在字段表中提前定义5个输出字段has_best、has_lowcode、has_practice、has_tutorial、has_pit类型均设为Integer。为什么选择这五个关键词在浏览全班同学的作品标题时“保姆级”“零代码”“实战”“教程/指南”“踩坑”这五个词高频出现且都与“教学价值”和“实操性”强相关。“保姆级”暗示内容详尽、适合新手“零代码”强调无需编程基础降低准入门槛“实战”强调动手操作而非纯理论空谈“教程/指南”表明内容具有教学属性“踩坑”暗示内容包含避坑经验实用性强。这五个词是分析标题影响力的理想切入点。JavaScript代码如下var title title; // 字段名直接作为变量使用// 判断关键词var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;// 将结果赋值给新字段输出字段需在字段表中提前定义has_best has_best;has_lowcode has_lowcode;has_practice has_practice;has_tutorial has_tutorial;has_pit has_pit;代码逻辑说明indexOf()方法返回指定字符串在目标字符串中首次出现的位置如果不存在则返回-1。所以! -1表示“包含该关键词”结果为true则赋值为1否则为0。has_tutorial的匹配逻辑是“教程”或“指南”任意一个出现即为1覆盖了教学类标题的两种常见表述。返回值说明has_besttitle中含“保姆级”为1否则为0has_lowcodetitle中含“零代码”为1否则为0has_practicetitle中含“实战”为1否则为0has_tutorialtitle中含“教程”或“指南”为1否则为0has_pittitle中含“踩坑”为1否则为0图 { SEQ 图 \* ARABIC |3} JavaScript代码组件的配置配置要点字段名直接作为变量使用输出字段需在字段表中提前定义每个特征独立提取便于后续在BI中做分组对比字段类型必须设为Integer否则后续计算会报类型不匹配错误。3.步骤3计算互动总数操作说明接入“计算器”组件新增interactions字段interactions likes favorites shares coins。为什么互动总数是这四个指标相加点赞、收藏、分享、投币代表了用户对作品的不同层次的正向反馈点赞是“我觉得不错”收藏是“我觉得有用”分享是“我觉得值得推荐给更多人”投币是“我愿意为这个内容付出实际资源”。四个指标加总综合反映作品引发的用户互动行为的总量级比单一指标更能代表作品的综合影响力。图 { SEQ 图 \* ARABIC |4} 计算器组件的配置-1图 { SEQ 图 \* ARABIC |5} 计算器组件的配置-2配置要点因为一次计算最多支持三个变量相加需要加入中间变量x分两次计算如先计算ABC得到中间变量再加D得到最终结果计算完成后预览数据确认interactions字段没有空值。4.步骤4数据更新操作说明使用“插入/更新”组件将计算好的特征数据回填到content_analysis表。“插入/更新” vs “表输出”的区别如果使用“表输出”每次运行转换流都会在表中新增行导致数据重复累积——第一次运行有100条第二次变成200条第三次变成300条。而“插入/更新”组件按id匹配如果id已存在则更新指定字段如果id不存在才插入新行。在本实验中content_analysis表的id是唯一的所以只会执行更新操作不会新增行。这样转换流可以反复运行调试不会产生脏数据。关键配置1目标表content_analysis2查询关键字id匹配依据3更新字段total_interaction, has_best, has_lowcode, has_practice, has_tutorial, has_pit更新列均设为“是”字段映射流字段表字段是否更新idid否查询关键字interactionstotal_interaction是has_besthas_best是has_lowcodehas_lowcode是has_practicehas_practice是has_tutorialhas_tutorial是has_pithas_pit是图 { SEQ 图 \* ARABIC |6} 插入/更新组件的配置配置要点后面的“更新”一列一定要填“是”不然数据不会更新查询关键字必须选择id这是匹配依据。5.步骤5执行转换流操作说明完整转换流如下点击运行。图 { SEQ 图 \* ARABIC |7} 更新content_analysis表的完整转换流图 { SEQ 图 \* ARABIC |8} 转换流运行成功的日志图 { SEQ 图 \* ARABIC |9} 更新后content_analysis表的数据查询结果4.2 输出关键词级别的汇总表1.步骤1创建目标表操作说明在助睿ETL中创建title_feature_analysis表。为什么要建新表而不是直接更新content_analysis是作品明细粒度每条记录代表一个作品。而title_feature_analysis是关键词粒度每个关键词在每个平台只有一条汇总记录。两种数据粒度不同服务不同的分析目的——明细表用于排名、趋势、概况分析汇总表用于关键词对比分析。所以需要新建一张独立的汇总表。该表包含以下字段1id自增主键2platform平台B站/CSDN3feature_name关键词名称4avg_interaction含该关键词的平均互动总数5overall_avg该平台整体平均互动总数6sample_count含该关键词的作品数图 { SEQ 图 \* ARABIC |10} 创建title_feature_analysis表的SQL脚本配置2.步骤2计算整体平均互动数操作说明接入“排序记录”、“分组”组件按id升序排序不设分组条件直接计算AVG(total_interaction)得到overall_avg。为什么计算整体平均值整体平均值是一个基准线用来衡量某个关键词是否有效。如果含“保姆级”的作品的平均互动数高于整体平均值说明这个词确实有效反之则无效。后续计算“提升倍率”时也需要整体平均值作为分母。聚合完成后接入“增加常量”组件新增字段feature_name 保姆级为这一行数据贴上名称标签。为什么要加常量因为聚合后的数据只有数值avg_interaction、overall_avg没有关键词名称。不加的话5个关键词的数据合并后无法区分谁是谁。常量就是给这一行数据贴上“标签”告诉下游“这一行是保姆级的数据”。图 { SEQ 图 \* ARABIC |11} 整体平均互动数计算分支的转换流3.步骤3计算关键词的平均互动数操作说明以“保姆级”为例从表输入组件复制分发一条分支先接“过滤记录”组件设置has_best 1只保留含“保姆级”的作品。然后接入“排序记录”、“分组”组件按id升序排序计算AVG(total_interaction)得到avg_interactionCOUNT(id)得到sample_count。聚合完成后接入“增加常量”组件新增字段feature_name 保姆级为这一行数据贴上名称标签。为什么要加sample_count字段平均值本身不能反映样本量大小。比如2个作品的平均互动数是100100个作品的平均互动数也是100但两者的可信度完全不同。sample_count让读者知道每个关键词的统计基础避免被小样本的平均值误导。图 { SEQ 图 \* ARABIC |12} 关键词平均互动数计算分支的转换流配置要点常量是给每一行贴上“标签”。复制粘贴整个分支加工其他关键词只需修改两处过滤条件如has_lowcode 1和常量值如“零代码”其他配置完全相同。4.步骤4合并整体平均值和关键词平均值操作说明使用“记录集连接”组件按feature_name字段匹配将整体平均值和关键词平均值合并。由于2个分支都只有1行数据所以无需排序。图 { SEQ 图 \* ARABIC |13} 记录集连接组件的配置5.步骤5数据入库操作说明用“表输出”组件将合并后的数据写入title_feature_analysis表。配置要点不勾选“裁剪表” 因为5个关键词分支是分别执行的如果勾选了裁剪表第一个分支写入后第二个分支执行时会清空数据最终表中只会保留最后一个关键词的数据。不勾选裁剪表所有关键词的数据都能保留。图 { SEQ 图 \* ARABIC |14} 表输出组件配置6.步骤6执行转换流操作说明点击运行执行转换流。图 { SEQ 图 \* ARABIC |15} 运行转换流图 { SEQ 图 \* ARABIC |16} title_feature_analysis 表的数据展示图 { SEQ 图 \* ARABIC |17} 数据展示第三部分实验结果一、输出表说明本次实验更新并新建了以下数据表content_analysis已更新在原表基础上新增了total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit共6个特征字段作品级粒度用于后续排名、趋势、概况等明细分析。title_feature_analysis新建关键词级汇总表按平台分别记录每个关键词的avg_interaction、overall_avg和sample_count用于标题特征互动分析。图 { SEQ 图 \* ARABIC |18} title_feature_analysis表的最终数据展示二、数据验证通过数据探查确认以下三点第一content_analysis表中每条记录都有total_interaction值无空值说明计算器组件配置正确。第二has_*字段均为0或1取值正常说明JavaScript代码组件的关键词匹配逻辑正确。第三title_feature_analysis表中每个关键词的sample_count与content_analysis中对应has_*1的记录数一致统计准确。以“保姆级”为例content_analysis中has_best1的记录数为159条B站和178条CSDNtitle_feature_analysis表中对应sample_count为159和178数据一致验证通过。三、实验结果分析1.技术维度分析本次实验通过JavaScript代码组件实现了标题关键词的自动化标注相比人工逐条判断效率提升巨大。计算器组件完成互动总数的衍生计算插入/更新组件实现了按id匹配的安全回填机制可反复运行不产生脏数据。在关键词汇总部分通过“增加常量”组件为聚合数据贴标签再以记录集连接完成合并形成规范的汇总表结构。2.业务维度分析从title_feature_analysis表可以看出不同标题关键词在各平台的表现差异。对比avg_interaction和overall_avg可以看出某个关键词是否对互动效果有正向提升作用。各关键词的sample_count反映了创作者对不同标题策略的偏好程度。图 { SEQ 图 \* ARABIC |19} content_analysis表数据查询结果第四部分问题与解决1.问题一JavaScript代码组件配置后数据表无数据问题现象执行转换流后content_analysis表中has_*字段全部为空。问题原因JavaScript代码组件的输出字段未在字段表中提前定义导致组件虽然运行但数据未输出。解决方法在JavaScript代码组件的字段表中提前插入5行字段名设为has_best、has_lowcode、has_practice、has_tutorial、has_pit类型均设为Integer然后再次执行转换流。2.问题二互动总数计算值为空问题现象部分记录的total_interaction为NULL。问题原因likes、favorites、shares、coins中存在NULL值导致加法运算结果为NULL。解决方法在计算器组件计算之前先将四个字段的空值替换为0再进行加法运算。3.问题三插入/更新组件配置错误导致数据重复问题现象多次运行转换流后content_analysis表中数据重复累积。问题原因误将“插入/更新”组件配置为“表输出”模式导致每次运行都新增行而非更新。解决方法确认组件为“插入/更新”模式查询关键字设为id更新字段列表正确配置更新列均设为“是”。4.问题四关键词汇总数据合并后无法区分关键词问题现象记录集连接合并后所有数据混在一起不知道哪行对应哪个关键词。问题原因聚合后的数据只有数值avg_interaction、overall_avg没有关键词名称字段。解决方法在每个关键词分支聚合完成后接入“增加常量”组件新增字段feature_name并填入对应的关键词名称如“保姆级”“零代码”作为每一行数据的“标签”。第五部分实验总结一、收获通过本次实验我掌握了以下核心技能1.特征工程思维理解了特征工程在数据分析中的核心作用——原始字段不一定能直接回答业务问题需要通过衍生计算创造新的特征变量。互动总数和标题关键词标志两个特征都是为了后续量化分析“什么样的标题更有效”而构建的。2.JavaScript代码组件掌握了用JavaScript代码组件完成文本关键词的自动标注。相比人工逐条判断标题自动化标注效率提升巨大且规则统一、可复现。3.插入/更新组件掌握了按id匹配回填数据的操作。与“表输出”不同“插入/更新”可以反复运行而不会产生重复数据适合需要迭代调试的场景。4.常量标签设计理解了在并行分支聚合后为数据添加常量标签的重要性——聚合后的数据只有数值没有维度常量标签解决了多分支数据合并后的识别问题。5.分支并行处理通过复制分支加工多个关键词形成了可复用的ETL模板代码复用效率高体现了ETL流程设计中“一次设计、多次复用”的思想。二、对平台的整体评价助睿ETL的组件化设计使得复杂的特征工程变得简单易行。JavaScript代码组件支持灵活的关键词匹配逻辑插入/更新组件完美解决了反复运行导致的数据重复问题增加常量组件为聚合数据贴上标签便于合并识别。整体操作直观高效零代码拖拽式操作降低了特征工程的技术门槛让分析人员可以专注于业务逻辑而非代码实现。关于助睿数智Uniplore助睿数智是一站式数据科学实验平台覆盖数据接入、ETL处理、机器学习建模到可视化分析的全链路Agentic零代码数据智能操作。产品官网https://www.uniplore.com/
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
