一、简介1.1前言达梦数据复制软件简称 DMDRS是一种用于同构数据库、异构数据库以及各种数据管理系统之间的数据复制软件。DMDRS 采用模块化的设计通过灵活配置不同的功能模块实现多功能的数据复制服务以满足多种场景下的数据复制业务需求。1.2产品架构1.3 产品服务DMDRS 通过配置不同的功能模块可以实现多功能的数据复制服务常用服务如下服务名称主要组成模块程序名称服务功能源 DMDRSManager、CPT、CVT可选drsvr部署在源数据库所在服务器用于全量数据装载和增量数据实时捕获解析并投递到下一级 DMDRS 服务。当配置有 CVT 模块时还可实现实时清洗转换功能。目标 DMDRSManager、EXEC、CVT可选drsvr部署在可通过网络连接目标数据库的服务器或者部署在目标数据库所在服务器用于接收源 DMDRS 发送的日志消息进行同步执行完成数据同步。当配置有 CVT 模块时还可实现实时清洗转换功能。1.4 应用场景基于数据复制业务的应用场景DMDRS 提供数据迁移、数据同步、数据分发和数据转换等功能而且数据同步功能还支持一对一、双向、一对多、多对一、级联同步、环形同步和 DMDRS 主备等多种同步拓扑结构。本次实操演示的为dm8-dm8的一对一数据同步同时CPT与EXEC分别部署在对应的数据库上二、DMDRS搭建2.1 数据库准备工作运行DMDRS服务前数据库管理员需要对数据库做如下准备工作。配置服务准备工作源DMDRS除数据迁移场景外其他应用场景均需要开启源数据库的归档和逻辑日志。除数据迁移场景外其他应用场景均需要配置DDL同步。创建源数据库同步用户DMDRS。配置源数据库同步用户最小权限。目标DMDRS创建目标数据库同步用户DMDRS。配置目标数据库同步用户最小权限。DMDSS无2.1.1开启源数据库的归档和逻辑日志采用动态配置方法开启数据库归档。DM8单机SQL alter database mount;SQL alter database archivelog;SQL alter database add archivelog DEST/dmarch,TYPELOCAL,FILE_SIZE512,SPACE_LIMIT10240;SQL alter database open调用系统过程SP_SET_PARA_VALUE配置DM8数据库配置文件“dm.ini”中RLOG_APPEND_LOGIC参数值。参数配置说明如下所示以参数值设置为1为例。SQL call sp_set_para_value(1,RLOG_APPEND_LOGIC,1);通过静态配置或者动态配置开启源数据库的归档和逻辑日志后检查ARCH_INI和RLOG_APPEND_LOGIC参数配置是否生效。检查ARCH_INI参数配置是否生效。SQL select para_name, para_value, sess_value, file_value from V$DM_INI where para_name ARCH_INI;查询结果如下如果存在以上查询结果表示ARCH_INI参数配置已生效。检查RLOG_APPEND_LOGIC参数配置是否生效。SQL select para_name, para_value, sess_value, file_value from V$DM_INI where para_name RLOG_APPEND_LOGIC;查询结果如下如果存在以上查询结果表示RLOG_APPEND_LOGIC参数配置已生效。2.1.2配置DDL同步DMDRS服务支持DDL同步功能。当应用场景中需要DDL同步时数据库管理员可按下列方式之一进行配置。采用系统表方式动态配置调用系统过程SP_SET_PARA_VALUE将源数据库配置文件“dm.ini”中RLOG_APPEND_SYSTAB_LOGIC参数值设置为1。SQL call sp_set_para_value(1,RLOG_APPEND_SYSTAB_LOGIC,1);检查RLOG_APPEND_SYSTAB_LOGIC参数配置是否生效。SQL select para_name, para_value, sess_value, file_value from V$DM_INI where para_name RLOG_APPEND_SYSTAB_LOGIC;查询结果如下如果存在以上查询结果表示RLOG_APPEND_SYSTAB_LOGIC参数配置已生效。2.1.3创建数据库同步用户DMDRS2.1.3.1DM8源端源端DM8库创建DMDRS用户用于同步数据-- 1. 创建 DMDRS 表空间自动扩展最大 10Gcreate tablespace DMDRS_DAT datafile DMDRS_DAT01.DBF size 128 autoextend on maxsize 10240 CACHE NORMAL;create tablespace DMDRS_IDX datafile DMDRS_IDX01.DBF size 128 autoextend on maxsize 10240 CACHE NORMAL;-- 2. 创建 DMDRS 用户 指定默认表空间 20G 配额create user DMDRS identified by Dameng123 password_policy 15default tablespace DMDRS_DATdefault index tablespace DMDRS_IDX;配置数据库同步用户最小权限DMDRS服务运行过程中使用的数据库同步用户需要一定的权限访问数据库数据如果不能赋予DMDRS同步用户DBA权限为确保同步的正确性数据库管理员可根据应用场景配置数据库同步用户的最小权限。-- 3. 授予必需最小权限grant PUBLIC,RESOURCE,SOI,VTI to DMDRS;grant CREATE SESSION to DMDRS;2.1.3.2DM8目的端目的端DM8库创建DMDRS用户用于同步数据-- 1. 创建 DMDRS 表空间自动扩展最大 10Gcreate tablespace DMDRS_DAT datafile DMDRS_DAT01.DBF size 128 autoextend on maxsize 10240 CACHE NORMAL;create tablespace DMDRS_IDX datafile DMDRS_IDX01.DBF size 128 autoextend on maxsize 10240 CACHE NORMAL;-- 2. 创建 DMDRS 用户 指定默认表空间 20G 配额create user DMDRS identified by Dameng123 password_policy 15default tablespace DMDRS_DATdefault index tablespace DMDRS_IDX;DM8目标数据库同步用户最小权限-- 3. 授予必需最小权限grant PUBLIC,RESOURCE,SOI,VTI to DMDRS;grant CREATE SESSION to DMDRS;【基础权限】-- 插入、删除、更新数据时需要数据操作权限GRANT PUBLIC TO DMDRS;-- 启动时需要在目标数据库中创建辅助表和辅助存储过程GRANT RESOURCE TO DMDRS;-- 需要查询数据库的相关参数信息、系统表字典信息GRANT SOI,VTI TO DMDRS;-- 需要创建会话权限GRANT CREATE SESSION TO DMDRS;2.1.4DMDRS服务管理规划在配置DMDRS服务前需规划DMDRS服务的Manager模块的端口号包括源DMDRS、目标DMDRS服务和DMDSS服务的Manager模块的端口号。注意不同的应用场景DMDRS所包括的DMDRS服务不同。如果在同一台服务器上部署不同的服务必须确保这些服务的Manager模块的端口号的唯一性。源端数据库源端数据库IPCPT服务名站点号CPT的mgr端口目的端数据库目的端数据库IPEXEC服务名站点号EXEC的mgr端口bin命名DM8单机192.168.5.148cpt_dm8站点15345DM8单机192.168.5.147exec_dm8站点25345bin_cptbin_exec2.2软件安装2.2.1 源端dm8 DRS安1先创建安装目录mkdir -p /dmdrschown -R dmdba:dinstall /dmdrschmod -R 755 /dmdrs2上传 DMDRS 安装包到 opt 目录并修改权限3配置 key 文件将 DMDRS 的 key 文件上传并重命名为 dmdrs.key。修改 dmdrs.key 的用户及权限并将 dmdrs.key 移动到 /home/dmdba 目录下。4安装部署启动安装程序使用 dmdba 用户启动安装文件。su - dmdbamkdir -p /home/dmdba/tmp_drsexport DMDRS_INSTALL_TMPDIR/home/dmdba/tmp_drschmod 777 /home/dmdba/tmp_drscd /opt./dmdrs.bin -i注DMDRS 安装时提供 2 个组件进行选择安装。“达梦数据融合管理平台”简称 DMDFM 是达梦为解决大型数据复制、数据集成项目的管理运维问题而推出的一款集安装配置、设计管理、监控运维于一体的软件。使用 DMDFM 可以快速安装配置达梦数据复制软件DMDRS、达梦数据集成软件DMDIS以及达梦数据校验软件DMDVS支持各种复杂拓扑结构同步链路的拖拽设计支持监控大量的数据链路极大地提升大型项目的实施和运维效率。代理DMDFM 通过代理来进行管理、监控和实现各项功能以下配置脚本需要以root用户的身份运行./dmdrs/scripts/root/root_installer.sh是否已执行shell脚本?(Y/y or N/n)[Y/y]:y-----------安装总结-----------达梦数据复制软件V5安装完成更多安装信息请查看安装日志文件/dmdrs/log/install.log2.2.2 目的端dm8 DRS安装目的端安装步骤与源端相同-----------安装小结-----------安装目录:[/dmdrs]数据库驱动路径:[/dmdbms/bin]代理IP:[192.168.5.147]代理端口:[19345]达梦数据融合管理平台IP:[192.168.5.147]达梦数据融合管理平台端口:[8080]所需磁盘空间/可用磁盘空间:[304 MB/27,319 MB]2.3设置环境变量DMDRS服务运行过程中需要使用数据库的驱动文件访问数据库数据。在终端的配置文件中添加设置环境变量命令。export LD_LIBRARY_PATHDMDPI驱动路径:$LD_LIBRARY_PATH具体实现su - dmdbavi /home/dmdba/.bash_profileexport LD_LIBRARY_PATH/dmdbms/bin:$LD_LIBRARY_PATHsource /home/dmdba/.bash_profileecho $LD_LIBRARY_PATH2.4DMDRS配置DMDRS使用XML文件作为配置文件通过XML配置文件配置产品服务功能。常用产品服务的配置文件模板存放于DMDRS安装目录下配置文件模板名称和默认配置文件名称如下表所示。DMDRS服务配置文件模板默认配置文件源DMDRScpt.xml、cpt_dsc.xmldrs.xml目标DMDRSexec.xmldrs.xmlDMDRS的XML配置文件的格式如下表所示。组成部分语法说明声明语句?xml version1.0 encodingGB18030?包括XML版本号和字符集声明。根元素drs/drs根元素中包括所有的子元素。子元素Manager模块base/baseCPT模块cpt/cptDSS模块dss/dssEXEC模块exec/exec各模块对应的子元素中还包括具体的元素具体请参见《DMDRS参考手册》。2.4.1 配置源DMDRS1复制bin目录cd /dmdrscp -r bin bin_cpt源数据库为DM8单机vi /dmdrs/bin_cpt/drs.xml?xml version1.0 encodingGB18030?drsbasemgr_port5345/mgr_portsiteid1/siteidmem_size2/mem_sizelangch-utf8/lang/basecptnamecpt_dm8/namelogindbtypedm8/dbtypeserver192.168.5.148/serveruserDMDRS/userpwdDameng123/pwdport5237/port/loginsendip192.168.5.147/ipport5345/porttarget_nameexec_dm8/target_namemapitemDMDRS.*DMDRS.*/item/map/send/cpt/drs2.4.2配置目标DMDRS1复制bin目录cd /dmdrscp -r bin bin_exec目标数据库为DM8单机vi /dmdrs/bin_cpt/drs.xml?xml version1.0 encodingGB18030?drsbasemgr_port5345/mgr_portsiteid2/siteidmem_size2/mem_sizelangch-utf8/lang/baseexecnameexec_dm8/namelogindbtypedm8/dbtypeserver192.168.5.147/serveruserDMDRS/userpwdDameng123/pwdport5237/port/login/exec/drs2.5 管理服务2.5.1 配置DMDRS服务脚本-源端## DRS的后台启动脚本需要人工复制创建然后才能注册服务cd /dmdrs/bin_cpt/service_templatecp TemplateService ../DrsServicecd /dmdrs/bin_cptvi DrsService## 将以下信息进行修改INSTALL_HOME/dmdrs #DRS安装目录PROG_DIR/dmdrs/bin_cpt #cpt的bin目录CONF_PATH/dmdrs/bin_cpt/drs.xml #cpt的配置文件NEED_LIB_PATH/dmdbms/bin #DM8的bin目录EXEC_PROG_NAMEdrsvrSERVICE_TYPE_NAMEdrs server2.5.2配置DMDRS服务脚本-目的端将服务脚本模板TemplateService拷贝到执行程序目录并修改服务脚本的名称为默认服务脚本名。cd /dmdrs/bin_exec/service_templatecp TemplateService ../DrsServicecd /dmdrs/bin_execvi DrsService打开并修改服务脚本中的相关配置参数。INSTALL_HOME/dmdrs #DRS安装目录PROG_DIR/dmdrs/bin_exec #exec的bin目录CONF_PATH/dmdrs/bin_exec/drs.xml #exec的配置文件NEED_LIB_PATH/dmdbms/bin #DM8的bin目录EXEC_PROG_NAMEdrsvrSERVICE_TYPE_NAMEdrs server2.6DMDRS服务管理命令启动服务。./DrsService start停止服务。./DrsService stop重启服务。./DrsService restart启动源DMDRS服务中的CPT模块./drcslCSL start如需关闭CPT模块可输入stop命令。CSL stop目标DMDRS服务目标DMDRS服务中的EXEC模块默认是自动启动如需关闭EXEC模块可输入stop命令。CSL stop实操启动状况源端目的端达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台