DataHub Looker LookML 摄取配置实战Secrets 管理、Recipe 参数与调度验证全流程【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub本篇围绕 DataHub 快速摄取指南中的 Looker 配置文档 展开系统讲解如何在 DataHub 中配置 Looker 与 LookML 两个摄取源从在 Ingestion 页面创建LOOKER_CLIENT_ID、LOOKER_CLIENT_SECRET两个 Secrets到填写 Recipe 的各项字段、设置dashboard_pattern/chart_pattern过滤规则、配置定时调度再到验证摄取运行结果。读完本文你既能按步骤在 DataHub UI 中完成 Looker 元数据管道的搭建也能结合源码理解每个配置项的默认值、校验逻辑与底层行为从而在排查摄取失败时定位到具体原因。前置条件先在 Looker 侧准备好 API 凭证配置连接之前你需要已经完成 Looker 前置准备在 Looker 实例的 Admin Panel 中创建包含access_data、see_lookml_dashboards、see_looks、explore、see_sql、see_lookml等权限的 Permission Set 与 Role并为专用用户生成 API Key得到Client ID与Client Secret。若还需要摄取 LookML 视图与字段级血缘前置步骤中还要生成 SSH 密钥对并把它添加到代码仓库的 Deploy Keys生成命令为ssh-keygen -t rsa -f looker_datahub_deploy_key。这些凭证是后续 DataHub 侧配置的直接输入。一、在 DataHub 中配置 SecretsLooker 与 LookML 两个连接器都需要相同的两个 SecretsLOOKER_CLIENT_IDLOOKER_CLIENT_SECRET操作步骤在 DataHub 实例中点击屏幕右上角的Ingestion页签若看不到该页签需联系 DataHub 管理员授予相应权限。进入Secrets页签点击Create new secret。先创建 Client Id 的 Secret值填写前置步骤中生成的 API Key 的Client Id。再创建 Client Secret 的 Secret值填写 API Key 的Client Secret。在 Recipe 中引用 Secret 的格式是${SECRET_NAME}例如${LOOKER_CLIENT_ID}。这种写法保证敏感凭证不落盘到明文 Recipe 中。源码侧也印证了这一设计Looker 连接配置类LookerAPIConfig中client_secret被声明为TransparentSecretStr类型见 looker_lib_wrapper.py即以秘密类型存储、避免在日志中泄露明文而在 UI 中使用${LOOKER_CLIENT_SECRET}占位符时运行时由摄取系统注入该 Secret 的实际值。二、配置 Looker 摄取源2.1 创建 Source 并填写 Recipe在Sources页签点击Create new source。在类型列表中选中Looker。填写以下字段Base URL你的 Looker 实例地址形如https://your-looker-instance.cloud.looker.com。Client ID填写${LOOKER_CLIENT_ID}。Client Secret填写${LOOKER_CLIENT_SECRET}。这三个字段对应源码中LookerDashboardSourceConfig继承的LookerAPIConfiglooker_lib_wrapper.py配置项默认值说明源码依据client_id/client_secret必填Looker API3 凭证base_url必填用于 API 调用及构造可点击的 dashboard/chart 链接max_retries3Looker API 调用重试次数通过给 SDK 的 transport 挂载HTTPAdapter实现max_threadsCPU 核数下限 40Looker API 并发度transport_optionsNone可选的自定义超时与请求头一个值得注意的底层行为LookerAPI在初始化完成后会立即调用 Looker API 的me接口做一次连通性/认证校验looker_lib_wrapper.py因为 SDK 初始化一个凭证错误的 client 时不会报错。校验失败会抛出ConfigurationError: Failed to connect/authenticate with looker - check your configuration。如果你在摄取运行日志中看到该错误第一排查点就是 Base URL 或 Client ID/Secret 填写是否正确。2.2 可选用 dashboard_pattern 与 chart_pattern 过滤若只想摄取部分仪表盘或图表可以在 Recipe 中增加过滤规则对应配置类中的dashboard_pattern、chart_pattern二者均为AllowDenyPattern默认放行全部见 looker_config.pyconfig: ... dashboard_pattern: allow: - 2 chart_pattern: allow: - 258829b1-82b1-4bdb-b9fb-6722c718bbd3文档示例中分别按 dashboard id2与 chart idUUID 字符串进行精确放行。AllowDenyPattern同时支持deny规则与正则匹配例如可以先allow全部再deny特定命名前缀。2.3 源码中更多可用的 Looker 配置项在 UI 向导未暴露的完整 YAML Recipe 中LookerDashboardSourceConfig还提供了不少生产上常用的开关默认值均来自 looker_config.py 的字段定义配置项默认值作用include_deletedFalse是否包含已删除的 dashboard 与 lookextract_ownersTrue是否从 Looker 直接抽取 dashboard/chart 的负责人strip_user_ids_from_emailFalse启用后把namedomain.com形式的用户邮箱规整为urn:li:corpuser:name再分配归属skip_personal_foldersFalse启用后仅摄取 Shared 文件夹空间下的 dashboard跳过个人文件夹folder_path_pattern放行全部按 Looker 文件夹全路径如Shared/salesallow/deny dashboard与dashboard_pattern需同时满足external_base_url缺省取base_url当实例 API 地址与访问地址不同如公网入口域名时用其构造 DataHub 中的跳转链接extract_usage_historyTrue是否通过 Looker system activity explores 查询仪表盘使用历史extract_usage_history_for_interval30 days使用历史的回溯区间取值遵循 Looker 时间过滤语法extract_embed_urlsTrue生成用于在 DataHub UI 内嵌预览 Explore 的 embed URL要求 Looker 侧已开启 embeddingemit_used_explores_onlyTrue只摄取被 Dashboard/Look 实际引用的 explore降低噪音extract_independent_looksFalse摄取不挂任何 Dashboard 的独立 look必须先开启stateful_ingestion否则配置校验会直接报错stateful_ingestionNone有状态摄取开关用于自动移除过期stale元数据实体另外命名规则由LookerCommonConfig统一控制looker_config.pyexplore 的数据集名默认为{model}.explore.{name}、浏览路径为/Explore/{model}view 的数据集名默认为{project}.view.{name}、浏览路径为/Develop/{project}/{folder_path}。模式中的变量名必须是允许的变量如{model}、{name}、{project}、{folder_path}否则会被NamingPattern.validate_pattern校验拒绝——若你在自定义命名模式时收到 Failed to find ... in allowed_variables 报错即为此校验触发。Looker 源在 DataHub 中注册的平台名为looker见 looker_source.py 中platform looker因此摄取产生的 dashboard/chart 实体都会落在looker平台下。三、配置 LookML 连接器LookML 连接器从存放 LookML 模型的代码仓库中抽取.view.lkml文件解析出 views、dimensions、measures 及其字段级血缘。UI Recipe 中至少需要填写以下 5 个字段字段填写内容源码对应GitHub Repository存放 LookML 模型的仓库。可以填完整 URL如https://gitlab.com/gitlab-org/gitlab或organization/repo简写后者会被假定为 GitHub 仓库git_info.repoGitHub Deploy Key粘贴looker_datahub_deploy_key私钥文件的完整内容git_info.deploy_keyLooker Base URLLooker 实例地址如https://abc.cloud.looker.comapi.base_urlLooker Client ID${LOOKER_CLIENT_ID}api.client_idLooker Client Secret${LOOKER_CLIENT_SECRET}api.client_secret仓库与 Deploy Key 的解析逻辑在 git.py 中有明确实现理解它有助于排错GitReference.simplify_repo_url若repo只有一个/即org/repo形式自动补全为https://github.com/org/repo支持github.com/...前缀的简写。因此文档中organization/repo 会被假定为 GitHub 仓库的行为正是此处校验器完成。infer_url_template/infer_repo_ssh_locator对 GitHub 与 GitLab URL 自动推导文件浏览链接模板与git clone使用的 SSH 地址其他托管平台需要手动提供url_template与repo_ssh_locator。GitInfo.deploy_key接收原始私钥字符串支持多行_fix_deploy_key_newlines会修正换行也支持deploy_key_file直接指向密钥文件密钥不应包含 passphrase。克隆超时clone_timeout默认 300 秒。若base_folder与git_info都未提供配置校验会抛出 Neither base_folder nor git_info has been provided提供了git_info但没有 deploy key 时源码会警告私有仓库将无法克隆见 lookml_config.py。LookMLSourceConfig还有两个二选一的必填校验lookml_config.py必须提供apiLooker 凭证或connection_to_platform_mapLooker connection 名到平台/库/库模式的映射必须提供project_nameLookML project 名称或api——提供 API 凭证后可自动发现 project 名。UI 向导让你填写 Looker 凭证即满足了这两个条件。其他值得了解的 LookML 配置项默认值来自 lookml_config.pymodel_pattern/view_patternAllowDenyPattern默认全部放行可按正则筛选模型与视图base_folder若不用 Git 克隆方式可指向已 checkout 到摄取系统本地的 LookML 仓库根目录project_dependenciesmanifest.lkml中声明的本地/私有远程依赖项目的映射每项给本地路径或 Git 凭证未提供 deploy key 时复用主项目的 keyuse_api_for_view_lineage默认False血缘解析走 LookML 文件正则置为True时改用 Looker API 生成 SQL 解析血缘要求提供api配置且正则方案仅支持${TABLE}.column_name语法源码注释中说明了这一点emit_reachable_views_only默认True仅输出模型中 explore 可达的 view不可达的 view 会被记录为警告stateful_ingestion与 Looker 源一致用于自动清理过期元数据lookml_constants提供manifest.lkml中constant的兜底值manifest 中未定义的常量取此配置。血缘解析所需的Looker connection → 平台信息若未显式配置connection_to_platform_map会在运行时通过 Looker API 查询looker_connection.py 中get_connection_def_based_on_connection_string先查配置缓存未命中再调looker_client.connection()并依据dialect_name推断平台BigQuery 有专门解析其余平台取 dialect 首段并去掉版本号数字如hive2→hive。若你的 API 凭证不是 admin 级、无法读取 connection 定义这里会记录错误日志建议显式配置connection_to_platform_map规避。四、调度执行Schedule ExecutionRecipe 完成后点击Next进入调度配置在频率下拉框中选择摄取周期如按天、按小时等决定这条管道从 Looker 抽取元数据的节奏确认时区timezone设置正确——调度时间按此解释跨时区团队尤需注意点击Next进入最后一步。这一步创建的是一条周期性摄取管道recurring ingestion pipeline保存后会按选定频率自动执行无需每次手动触发。五、收尾与验证摄取运行最后一步为摄取源命名点击Save and Run。保存后你会看到该源出现在 Ingestion 页面并开始运行。验证方式对应文档的 Validate Ingestion Runs 章节在 Ingestion 页面查看最新一次运行的状态点击运行记录旁的号展开该源的历史运行列表点击Details查看某次具体运行的结果在 Run Details 页面选择View All查看本次运行实际摄入了哪些实体从列表中任选一个实体dashboard、chart、explore 或 view确认其详情页包含你预期的描述、血缘、负责人等细节。若运行失败可结合前文的源码依据排查凭证/URL 问题通常表现为初始化阶段的 Failed to connect/authenticate with lookerLookML 仓库克隆问题表现为 Git 相关错误检查 deploy key 是否为该仓库的只读部署密钥、branch是否指向正确分支LookML 配置缺失则会在配置校验阶段以 Neither ... was found 类错误直接提示缺哪个字段。小结SecretsLOOKER_CLIENT_ID与LOOKER_CLIENT_SECRET两个秘密是 Looker 与 LookML 两种连接方式的共同凭证底座Recipe 中以${SECRET_NAME}引用Looker 源Base URL 凭证三个必填字段dashboard_pattern/chart_pattern按 ID 过滤更多开关owner、usage history、folder 过滤、embed URL 等可在完整 YAML Recipe 中启用LookML 源仓库 URL/org/repo Deploy Key 私钥 Looker 凭证五要素git_info的自动补全与api/project_name二选一校验是其配置骨架调度与验证设置频率与时区后保存即成为周期管道通过 Ingestion 页面的运行历史与实体明细完成闭环验证。完成以上配置后你就在 DataHub 中建立了从 Looker仪表盘/图表/Explore与 LookMLviews/维度/度量/血缘到元数据平台的持续摄取管道。相关文档可继续参考 Looker 概览 与 Looker 前置准备源码实现集中在 metadata-ingestion/src/datahub/ingestion/source/looker/。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考