Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解
同步任务开发通用配置参数详解)
Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。
文章目录
- 配置文件结构详解
- Content配置
- Reader
- Writer
- Setting 配置
- Speed
- ErrorLimit
- MetricPluginConf
- Prometheus
- Mysql
- Restore
- Log
- 往期文章
- clickhouse
- 数据仓库
配置文件结构详解
一个完整的ChunJun任务脚本配置包含content，setting两个部分。content用于配置任务的输入源与输出源，其中包含reader，writer。而setting则配置任务整体的环境设定，其中包含speed，errorLimit，metricPluginConf，restore，log，dirty。总体结构如下所示：
{"job": {"content": [{"reader": {},"writer": {}}],"setting": {"speed": {},"errorLimit": {},"metricPluginConf": {},"restore": {},"log": {},"dirty": {}