✨博客主页 https://blog.csdn.net/m0_63815035?typeblog《博客内容》大数据、AI开发、Java、测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识博客专栏https://blog.csdn.net/m0_63815035/category_11954877.html欢迎点赞 收藏 ⭐留言 本文为学习笔记资料如有侵权请联系我删除疏漏之处还请指正大厦之成非一木之材也大海之阔非一流之归也✨目录一、数据治理是什么二、数据治理包含哪些核心模块从属关系清晰三、数据治理和数据底座、数据资产、数据中台的关系结合之前架构四、放到【多事业部场景】治理怎么落地核心难点五、厘清几组极易混淆概念1数据标准 VS 数据质量2数据治理 VS 数据资产3逻辑孤岛靠谁解决六、数据治理常见误区七、结尾一、数据治理是什么数据治理是一套体系通过组织、制度、流程、平台工具制定统一规则并持续监督落地保障企业数据准确、一致、可信、安全、可复用最终解决物理孤岛之上的逻辑孤岛。简单一句话数据底座把数据“收集到一起”解决物理孤岛数据治理负责规定“数据应该长什么样、怎么算、谁负责、不合规怎么办”解决编码混乱、口径不一、建模杂乱等逻辑孤岛。重要区分数据治理 ≠ 单纯写文档数据治理 ≠ 只做数据质量监控数据治理是**“定标准 落地执行 监督校验 持续优化”闭环**。二、数据治理包含哪些核心模块从属关系清晰数据标准管理立法层最前置分为两大块技术标准字段命名、数据类型、日期格式、枚举字典、数仓分层命名、存储规范业务标准主数据编码规则、指标定义、指标口径、业务术语、维度建模规范。 回答问题基础技术质量就是用来校验数据是否遵守【技术类数据标准】标准写清楚“应该怎么做”质量校验检查“有没有做到”。主数据治理打通实体孤岛统一商户、门店、商品、组织等核心实体建立全局唯一ID维护多系统编码映射关系。解决A事业部商户ID、B事业部商户ID无法关联的问题。指标治理打通口径孤岛搭建指标字典平台统一指标名称、业务定义、统计范围、计算公式区分集团强制统一指标 / 事业部允许差异化指标同名不同口径必须区分编码杜绝“同名字段两套数字”。数据质量管理执法落地抓手依据上面的数据标准配置自动化校验规则覆盖六大维度基础技术质量完整性、唯一性、格式合规校验技术标准业务准确性校验指标口径、业务逻辑跨层一致性上下层对账实体统一性主数据映射校验时效稳定性SLA、波动预警安全合规性数据标准是标尺数据质量就是拿着标尺去检查。元数据与数据血缘治理采集表信息、字段信息、数据来源、加工链路出现质量问题可以溯源看清影响范围支撑模型复用、资产盘点。数据安全与权限治理数据分级分类、访问权限、敏感数据脱敏、数据下载管控、数据共享规范防范数据泄露与越权使用。数据生命周期治理冷热数据分层、过期数据归档、清理无效废弃表控制存储成本。三、数据治理和数据底座、数据资产、数据中台的关系结合之前架构数据中台五层数据基建数据底座采集、存储、Spark/Flink、调度作用归集多业务系统数据仅解决物理孤岛只有底座一定会存在大量逻辑孤岛。数据治理层标准、主数据、指标治理、质量、元数据、安全作用制定统一规则专门解决逻辑孤岛。数据资产层ODS/DWD/DWS/DM/ADS数仓模型、公共维度DIM作用按照治理标准加工数据产出标准化可复用资产。数据服务层指标API、OLAP查询、自助提数、人群圈选作用统一对外出口防止业务私自导出数据避免新逻辑孤岛产生。数据应用层BI报表、经营大屏、业务后台、风控、算法场景关键认知传统数仓 只有数据底座数据资产建模缺少治理数据堆在一起但口径混乱。数据中台 底座 治理 资产 服务 应用。四、放到【多事业部场景】治理怎么落地核心难点矛盾各事业部业务系统不一样指标口径无法全部强行统一。治理不能一刀切采用策略底层强统一、中层分级管控、上层按需对齐强统一治理底线不允许变通技术标准统一字段命名、dt格式、枚举规范主数据统一商户、商品、门店全局唯一IDDWD层强制转换公共维度统一一套DIM维度表所有事业部共用通用基础指标统一商户数量、门店数量等无争议指标。分级管控尊重事业部业务差异事业部营收、结算毛利这类受商业模式影响、口径天然不同的指标✅ 允许事业部保留自有口径✅ 但是必须录入指标平台完整留存口径文档纳入指标治理✅ 指标编码区分禁止同名同编码不同逻辑✅ 纳入数据质量监控保障事业部内部口径稳定。上层对齐集团大盘需求集团想看全事业部汇总数据不在底层DWS强行改口径在集团DM集市层按照集团统一规则做折算、对齐产出集团统一视图。五、厘清几组极易混淆概念1数据标准 VS 数据质量数据标准定义规范应该是什么样数据质量校验是否遵守规范有没有达标。没有标准质量校验无依据没有质量监控标准永远只是文档。2数据治理 VS 数据资产治理是“规则体系”资产是“按照规则加工出来的数据产品”。先有治理标准才能产出合格、可信的数据资产。3逻辑孤岛靠谁解决依靠整套数据治理主数据治理解决实体孤岛指标治理解决口径孤岛建模标准治理解决建模孤岛数据服务管控防止产生新孤岛。物理孤岛依靠数据底座解决。六、数据治理常见误区❌ 买一套元数据、DQC工具 完成治理工具只是载体没有配套标准、流程、责任人和评审机制工具只会空转。❌ 治理只是数据团队的事情指标口径、业务规则需要业务部门参与定义纯技术推动很难落地。❌ 所有指标必须强行统一口径忽略事业部商业模式差异强行统一只会造成指标脱离业务无法使用。❌ 治理一次性做完就结束业务持续迭代、系统持续新增治理是长期持续运营工作不是一次性项目。七、结尾数据底座负责把分散的数据汇集起来数据治理负责制定全套数据规则并通过质量监控、流程约束保障所有人按规则生产数据从根源消除编码、口径、建模混乱带来的逻辑孤岛基于治理标准加工后的数据才是可信、可复用的数据资产。今天这篇文章就到这里了大厦之成非一木之材也大海之阔非一流之归也。感谢大家观看本文
✨博客主页 https://blog.csdn.net/m0_63815035?typeblog《博客内容》大数据、AI开发、Java、测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识博客专栏https://blog.csdn.net/m0_63815035/category_11954877.html欢迎点赞 收藏 ⭐留言 本文为学习笔记资料如有侵权请联系我删除疏漏之处还请指正大厦之成非一木之材也大海之阔非一流之归也✨目录一、数据治理是什么二、数据治理包含哪些核心模块从属关系清晰三、数据治理和数据底座、数据资产、数据中台的关系结合之前架构四、放到【多事业部场景】治理怎么落地核心难点五、厘清几组极易混淆概念1数据标准 VS 数据质量2数据治理 VS 数据资产3逻辑孤岛靠谁解决六、数据治理常见误区七、结尾一、数据治理是什么数据治理是一套体系通过组织、制度、流程、平台工具制定统一规则并持续监督落地保障企业数据准确、一致、可信、安全、可复用最终解决物理孤岛之上的逻辑孤岛。简单一句话数据底座把数据“收集到一起”解决物理孤岛数据治理负责规定“数据应该长什么样、怎么算、谁负责、不合规怎么办”解决编码混乱、口径不一、建模杂乱等逻辑孤岛。重要区分数据治理 ≠ 单纯写文档数据治理 ≠ 只做数据质量监控数据治理是**“定标准 落地执行 监督校验 持续优化”闭环**。二、数据治理包含哪些核心模块从属关系清晰数据标准管理立法层最前置分为两大块技术标准字段命名、数据类型、日期格式、枚举字典、数仓分层命名、存储规范业务标准主数据编码规则、指标定义、指标口径、业务术语、维度建模规范。 回答问题基础技术质量就是用来校验数据是否遵守【技术类数据标准】标准写清楚“应该怎么做”质量校验检查“有没有做到”。主数据治理打通实体孤岛统一商户、门店、商品、组织等核心实体建立全局唯一ID维护多系统编码映射关系。解决A事业部商户ID、B事业部商户ID无法关联的问题。指标治理打通口径孤岛搭建指标字典平台统一指标名称、业务定义、统计范围、计算公式区分集团强制统一指标 / 事业部允许差异化指标同名不同口径必须区分编码杜绝“同名字段两套数字”。数据质量管理执法落地抓手依据上面的数据标准配置自动化校验规则覆盖六大维度基础技术质量完整性、唯一性、格式合规校验技术标准业务准确性校验指标口径、业务逻辑跨层一致性上下层对账实体统一性主数据映射校验时效稳定性SLA、波动预警安全合规性数据标准是标尺数据质量就是拿着标尺去检查。元数据与数据血缘治理采集表信息、字段信息、数据来源、加工链路出现质量问题可以溯源看清影响范围支撑模型复用、资产盘点。数据安全与权限治理数据分级分类、访问权限、敏感数据脱敏、数据下载管控、数据共享规范防范数据泄露与越权使用。数据生命周期治理冷热数据分层、过期数据归档、清理无效废弃表控制存储成本。三、数据治理和数据底座、数据资产、数据中台的关系结合之前架构数据中台五层数据基建数据底座采集、存储、Spark/Flink、调度作用归集多业务系统数据仅解决物理孤岛只有底座一定会存在大量逻辑孤岛。数据治理层标准、主数据、指标治理、质量、元数据、安全作用制定统一规则专门解决逻辑孤岛。数据资产层ODS/DWD/DWS/DM/ADS数仓模型、公共维度DIM作用按照治理标准加工数据产出标准化可复用资产。数据服务层指标API、OLAP查询、自助提数、人群圈选作用统一对外出口防止业务私自导出数据避免新逻辑孤岛产生。数据应用层BI报表、经营大屏、业务后台、风控、算法场景关键认知传统数仓 只有数据底座数据资产建模缺少治理数据堆在一起但口径混乱。数据中台 底座 治理 资产 服务 应用。四、放到【多事业部场景】治理怎么落地核心难点矛盾各事业部业务系统不一样指标口径无法全部强行统一。治理不能一刀切采用策略底层强统一、中层分级管控、上层按需对齐强统一治理底线不允许变通技术标准统一字段命名、dt格式、枚举规范主数据统一商户、商品、门店全局唯一IDDWD层强制转换公共维度统一一套DIM维度表所有事业部共用通用基础指标统一商户数量、门店数量等无争议指标。分级管控尊重事业部业务差异事业部营收、结算毛利这类受商业模式影响、口径天然不同的指标✅ 允许事业部保留自有口径✅ 但是必须录入指标平台完整留存口径文档纳入指标治理✅ 指标编码区分禁止同名同编码不同逻辑✅ 纳入数据质量监控保障事业部内部口径稳定。上层对齐集团大盘需求集团想看全事业部汇总数据不在底层DWS强行改口径在集团DM集市层按照集团统一规则做折算、对齐产出集团统一视图。五、厘清几组极易混淆概念1数据标准 VS 数据质量数据标准定义规范应该是什么样数据质量校验是否遵守规范有没有达标。没有标准质量校验无依据没有质量监控标准永远只是文档。2数据治理 VS 数据资产治理是“规则体系”资产是“按照规则加工出来的数据产品”。先有治理标准才能产出合格、可信的数据资产。3逻辑孤岛靠谁解决依靠整套数据治理主数据治理解决实体孤岛指标治理解决口径孤岛建模标准治理解决建模孤岛数据服务管控防止产生新孤岛。物理孤岛依靠数据底座解决。六、数据治理常见误区❌ 买一套元数据、DQC工具 完成治理工具只是载体没有配套标准、流程、责任人和评审机制工具只会空转。❌ 治理只是数据团队的事情指标口径、业务规则需要业务部门参与定义纯技术推动很难落地。❌ 所有指标必须强行统一口径忽略事业部商业模式差异强行统一只会造成指标脱离业务无法使用。❌ 治理一次性做完就结束业务持续迭代、系统持续新增治理是长期持续运营工作不是一次性项目。七、结尾数据底座负责把分散的数据汇集起来数据治理负责制定全套数据规则并通过质量监控、流程约束保障所有人按规则生产数据从根源消除编码、口径、建模混乱带来的逻辑孤岛基于治理标准加工后的数据才是可信、可复用的数据资产。今天这篇文章就到这里了大厦之成非一木之材也大海之阔非一流之归也。感谢大家观看本文
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
