数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载导读sqlalchemy是 DataHub 元数据接入框架中面向一切具备 SQLAlchemy 方言的数据库的通用型接入源。当目标数据库没有专属连接器、但社区已为其实现 SQLAlchemy 方言时你可以通过本模块直接完成数据库/表/视图、字段、容器、血缘、数据画像与有状态删除检测的全套元数据摄入。读完本文你将掌握该接入源的适用场景、配置全参、底层实现原理与排障路径并能在几分钟内编写出可运行的 ingestion recipe。一、模块定位何时使用 sqlalchemy 接入源根据仓库中该模块的说明文档metadata-ingestion/docs/sources/sqlalchemy/sqlalchemy_pre.mdThesqlalchemymodule ingests metadata from SQLAlchemy into DataHub. It is intended for production ingestion workflows.该接入源专为生产级摄入工作流设计最典型的适用场景是仓库中不存在针对你所用数据库的预构建 source但该数据库已有第三方实现的 SQLAlchemy 方言dialect。此时只需自行pip install对应的方言包即可复用本模块完成元数据摄入。从源码看接入源本体定义在 sql_generic.pySQLAlchemyGenericSource继承自SQLAlchemySource其注释明确写道使用 SQLAlchemy reflection反射机制发现 schema 元数据需要用户自行安装对应的方言包平台名通过配置项platform指定完整继承SQLAlchemySource的全部能力数据画像、过滤、域。模块标注为support_status(SupportStatus.GA)即正式发布GA状态。二、模块能提取哪些元数据根据官方文档与本仓库实现sqlalchemy接入源覆盖的核心元数据实体包括数据集Dataset数据库中的表table与视图viewSchemaField每张表的列及其类型、可空性、注释等字段元数据容器Container数据库database与模式schema层次结构表级与列级血缘Lineage视图到视图、表到视图的血缘关系数据画像Profiling可选的表、行、列统计信息有状态删除检测Stateful Deletion Detection通过 stateful ingestion 识别已消失的实体。sqlalchemy_pre.md中归纳为三条核心提取项数据库、模式、视图和表的元数据每张表关联的列类型通过可选的 SQL profiling 提供的表、行、列统计信息。三、底层工作原理从 SQLAlchemy 反射到 DataHub 实体3.1 核心类层次接入源实现位于metadata-ingestion/src/datahub/ingestion/source/sql/目录关键文件如下文件职责sql_generic.py定义SQLAlchemyGenericConfig与SQLAlchemyGenericSource平台名固定为sqlalchemysql_common.py定义SQLAlchemySource封装了 reflection、schema/字段/容器/血缘/画像的完整提取逻辑sql_config.py定义SQLCommonConfig、SQLFilterConfig、SQLAlchemyConnectionConfig等全部配置模型sqlalchemy_uri.py提供make_sqlalchemy_uri/parse_host_port工具函数负责拼接连接 URI类继承关系可概括为SQLAlchemyGenericSource → SQLAlchemySource → StatefulIngestionSourceBase SQLAlchemyGenericConfig → SQLCommonConfig → StatefulIngestionConfigBase PlatformInstanceConfigMixin EnvConfigMixin ...3.2 Reflection 发现机制SQLAlchemySource基于 SQLAlchemy 官方的create_engine、inspect、Inspector反射 API 工作见 sql_common.pyfrom sqlalchemy import create_engine, inspect, log as sqlalchemy_log from sqlalchemy.engine.reflection import Inspector通过反射拿到数据库/模式/表/视图清单与列定义后再借助 mce_builder 中的make_data_platform_urn、make_dataset_urn_with_platform_instance、make_schema_field_urn等函数将原始对象转换为 DataHub 的 URN 与 MCPMetadataChangeProposal从而生成可被 GMS 消费的工作单元WorkUnit。3.3 连接 URI 的生成配置模型SQLAlchemyConnectionConfig.get_sql_alchemy_url()sql_config.py实现了两套建连方式直接传入sqlalchemy_uri优先级更高或通过scheme username password host_port database组合调用make_sqlalchemy_uri()自动拼接。其中parse_host_portsqlalchemy_uri.py负责解析host:port支持端口缺失时回退默认端口、端口非法时静默使用默认值等边界处理。通用型SQLAlchemyGenericConfig则直接要求必填connect_uri并把platform作为 URN 构造中的平台名。四、快速开始第一个 sqlalchemy recipe仓库为模块提供了最小可运行配方模板 sqlalchemy_recipe.ymlsource: type: sqlalchemy config: # Coordinates connect_uri: dialectdriver://username:passwordhost:port/database sink: # sink configs实际运行时type必须为sqlalchemy对应platform_name(SQLAlchemy, idsqlalchemy)声明见 sql_generic.py。以 PostgreSQL 为例需先pip install psycopg2-binary或psycopgsource: type: sqlalchemy config: platform: postgres connect_uri: postgresqlpsycopg2://datahub:datahublocalhost:5432/datahub # 可选过滤、画像、血缘等高级配置见下文 sink: type: datahub-rest config: server: http://datahub-gms:8080随后执行datahub ingest -c sqlalchemy_recipe.yml注意platform配置项决定了 URN 中的平台名应与实际数据库类型保持一致便于 DataHub 侧平台识别与血缘关联。五、配置详解全部可调参数SQLAlchemyGenericConfig继承自SQLCommonConfigsql_config.py完整配置项如下。5.1 连接与坐标参数类型必填说明connect_uristr是连接 URI格式见 SQLAlchemy 官方 database-urls 说明platformstr是摄入的平台名用于构造 URN例如postgres、mysql、clickhouseoptionsdict否透传给SQLAlchemy.create_engine的 kwargs如需设置 URL 中的连接参数放在connect_args下include_viewsbool否默认true是否摄入视图include_tablesbool否默认true是否摄入表include_table_location_lineagebool否默认true若源支持摄入表到底层存储位置的血缘include_view_lineagebool否默认true使用 DataHub 的 SQL parser 填充视图→视图、表→视图血缘include_view_column_lineagebool否默认true基于 SQL parser 填充视图→视图、表→视图的列级血缘依赖include_view_lineage开启use_file_backed_cachebool否默认true是否使用文件后备缓存存储视图定义5.2 过滤模式schema / table / viewSQLFilterConfigsql_config.py提供三层正则过滤schema_pattern按模式名schema过滤例如analytics匹配 analytics 模式下所有表在 schema 数量巨大时用它可以避免无谓地拉取表清单后再过滤是一种性能优化手段table_pattern按database.schema.table全名过滤例如Customer.public.customer.*匹配 Customer 库 public schema 下所有 customer 开头的表view_pattern按database.schema.view全名过滤未显式指定时默认继承table_pattern源码中的view_pattern_is_table_pattern_unless_specified模型校验器实现了该行为。三者均使用AllowDenyPatternallow 与 deny 正则列表。另有profile_pattern指定参与数据画像的表/列正则过滤注意只有通过table_pattern的表才会被纳入画像domainDict[str, AllowDenyPattern]按正则把数据库/模式/表挂到业务域domain key 可以是 URN 如urn:li:domain:ec428203-ce86-4db3-985d-5a8ee6df32ba也可以是 Marketing 这样的名称DataHub 会自动解析为 URN解析失败会报错。示例source: type: sqlalchemy config: platform: postgres connect_uri: ... schema_pattern: allow: - public - analytics deny: - information_schema - pg_.* table_pattern: allow: - .*\\.public\\.customer.* profile_pattern: allow: - .*\\.public\\.customer.*5.3 数据画像Profilingprofiling字段类型为GEProfilingConfig基于 Great Expectations 体系见 ge_profiling_config.py。启用画像需要同时满足profiling.enabled true且operation_config判定画像开启is_profiling_enabled()方法sql_config.py。源码中ensure_profiling_pattern_is_passed_to_profiling模型校验器会将profile_pattern自动注入 profiling 配置确保过滤一致性。画像覆盖表/行/列统计信息如行数、空值率、去重值数等。profiling: enabled: true operation_config: lower_limit: 10000 upper_limit: 10000005.4 状态化摄入Stateful Ingestion与删除检测stateful_ingestion字段类型为StatefulStaleMetadataRemovalConfigsql_config.py继承自StatefulIngestionConfigBase。启用后接入源会记录上次摄入的状态并在下次运行时通过StatefulStaleMetadataRemovalHandler检测源端已不存在的表/视图等实体生成删除类 MCP实现有状态删除检测。stateful_ingestion: enabled: true remove_stale_metadata: true5.5 其他继承能力platform_instance通过PlatformInstanceConfigMixin支持平台实例env通过EnvConfigMixin指定环境PROD / DEV 等增量血缘通过IncrementalLineageConfigMixin支持数据分类通过ClassificationSourceConfigMixin支持基于样本的数据分类。六、概念映射源概念到 DataHub 实体关联文档 README.md 给出了源概念到 DataHub 概念的映射表注特定于 sqlalchemy 的映射细节仍待完善下表为 DataHub 通用概念映射Source ConceptDataHub ConceptNotesPlatform/account/project scopePlatform Instance, Container在平台上下文内组织资产Core technical asset (例如 table/view/topic/file)Dataset主要摄入的技术资产Schema fields / columnsSchemaField在支持 schema 提取时包含Ownership and collaboration principalsCorpUser, CorpGroup由支持所有权与身份元数据的模块发出Dependencies and processing relationshipsLineage edges在支持并启用血缘提取时可用结合源码可以进一步对应数据库与模式会生成DatabaseKey/SchemaKey容器见 sql_common.py 与sql_utils.py中的gen_database_container/gen_schema_container表/视图映射为DatasetSnapshot列映射为SchemaFieldClass与SchemaMetadataClass血缘映射为UpstreamLineageClass/FineGrainedLineageClass。七、能力、限制与排障7.1 能力矩阵根据 sqlalchemy_post.md 与源码装饰器声明模块能力如下Domain 支持通过domain配置项支持capability(SourceCapability.DOMAINS, ...)数据画像通过配置可选启用capability(SourceCapability.DATA_PROFILING, ...)表/视图/字段元数据、容器层次、视图血缘、列级血缘、状态化删除检测均为 GA 能力。能力是否生效受源平台 API、权限与暴露的元数据约束请以Important Capabilities能力表为准个别能力可能需要额外配置。7.2 限制接入源依赖 SQLAlchemy 方言包的反射能力方言暴露多少元数据DataHub 就能摄入多少方言未实现的反射接口如视图定义、存储过程将导致相应元数据缺失需要自行pip install对应方言包并保证版本兼容血缘质量取决于视图 SQL 的可解析性走 DataHub sql parser画像能力受数据库权限如表扫描权限限制。7.3 排障建议关联文档给出的排障顺序为先校验凭据、权限、网络连通性与范围过滤器schema/table/view pattern再检查摄入日志中的源特定错误并相应调整配置。常见问题对应如下连接失败优先检查connect_uri中的dialectdriver是否正确、方言包是否安装、host:port是否可达摄入实体为空检查schema_pattern/table_pattern是否误过滤include_tables/include_views是否被关闭血缘缺失确认include_view_lineage开启列级血缘还需include_view_column_lineage开启画像未执行确认profiling.enabled为 true且表通过了profile_pattern与table_pattern删除检测未生效确认stateful_ingestion.enabled与remove_stale_metadata均已开启。八、总结sqlalchemy接入源是 DataHub 覆盖长尾数据库的万能钥匙只要目标系统存在 SQLAlchemy 方言即可通过一个connect_uri接入数据库/表/视图、字段、容器、血缘、画像与删除检测的完整元数据链路。结合仓库内 sql_generic.py、sql_config.py、sql_common.py 的实现你可以按需组合过滤、画像、血缘与状态化配置将任意方言数据库快速纳入 DataHub 的统一元数据平台。赞分享数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载相关推荐DataHub 通用 SQLAlchemy 元数据摄取源sqlalchemy source实战指南DataHub 通用 SQLAlchemy 元数据摄取源sqlalchemy source实战指南 导读 DataHub 内置了面向常见数据库Snowfl数据目录数据治理数据血缘后端前端数据工程数据集成DataHub Apache Druid 元数据接入指南SQLAlchemy 连接、概念映射与血统提取实践DataHub Apache Druid 元数据接入指南SQLAlchemy 连接、概念映射与血统提取实践 本文以 DataHub 仓库中的 Apache D数据目录数据治理数据血缘后端前端数据工程数据集成DataHub 元数据接入Metadata Ingestion完全指南SDK、CLI 与 50 数据源连接器DataHub 元数据接入Metadata Ingestion完全指南SDK、CLI 与 50 数据源连接器 DataHub 的元数据接入框架Meta数据目录数据治理数据血缘后端前端数据工程数据集成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考