PostgreSQL到MySQL数据迁移终极指南pg2mysql迁移工具从零到实战完整教程【免费下载链接】pg2mysql项目地址: https://gitcode.com/gh_mirrors/pg2/pg2mysql凌晨两点你盯着屏幕上刺眼的报错日志数据库迁移脚本又一次在第六万条记录处崩溃。PostgreSQL 里明明一切正常的数据搬到 MySQL 后却频繁报出Data too long——这样的深夜任何一个做过跨库迁移的开发者都不会陌生。数据库迁移从来不是导出再导入那么简单两个数据库系统在数据类型、约束机制、时间精度上的细微差异足以让看似顺利的迁移变成一场数据灾难。而pg2mysql这款专为 PostgreSQL 到 MySQL 数据迁移设计的开源迁移工具正是为解决这类兼容性问题而生它能在动手之前先替你体检迁移过程中自动规避陷阱迁移完成后还能逐行核对结果让整个数据迁移流程变得清晰、安全、可预期。一、为什么 PostgreSQL 数据迁移到 MySQL 总踩坑字符类型的天然鸿沟text 的无限与有限绝大多数迁移事故的根源都藏在最不起眼的字段类型定义里。PostgreSQL 中广泛使用的text数据类型官方文档明确指出其长度实际上没有上限可以存放任意长度的字符串。然而 MySQL 中同名同姓的text类型却被硬性限制在 65535 字节以内而更常见的varchar类型则必须显式声明长度上限比如varchar(255)。这意味着PostgreSQL 里一个看似普通的text列实际存放的数据可能长达几万甚至几十万字符。当这些数据被原封不动地塞进 MySQL 的text列时超出容量上限的内容会被静默截断——最可怕的是很多迁移工具在默认模式下不报错、不警告数据就这样在无声无息中永久丢失了。传统迁移方案的三个致命弱点依赖手工比对靠人眼检查每个字段的长度是否足够表一多就必然遗漏不做预检直接搬数据搬过去才发现不兼容此时回滚成本已经极高迁移后不校验以为成功了实际上部分行已被截断或丢失无人察觉。二、pg2mysql 迁移工具给数据迁移装上安全带pg2mysql 是一款用 Go 编写的开源数据迁移工具它的核心思路非常务实假设两端表结构大体等价但绝不假设数据一定兼容。它把迁移拆解为三个相互独立的环节每个环节各司其职命令阶段作用validate迁移前对照已填充数据的 PostgreSQL 源库逐表检查 MySQL 目标表能否装下这些数据migrate迁移中按表搬运数据自动处理约束、跳过已存在记录verify迁移后逐行比对源库与目标库内容确认无一遗漏这种先验证、再迁移、后复核的三段式设计把一次高风险的数据迁移变成了三个可独立执行、可随时中止的低风险步骤。从架构上看项目的模块划分也相当清晰config.go负责配置解析validator.go实现兼容性体检migrator.go承载数据搬运逻辑verifier.go执行迁移后核对mysql.go与postgres.go则封装了两端数据库的连接与操作。三、最快安装方法三步编译出可执行文件pg2mysql 基于 Go 编写安装前请确保本机已具备 Go 开发环境。整个安装过程不需要任何外部依赖一条克隆命令加一条编译命令即可完成。第一步获取源码git clone https://gitcode.com/gh_mirrors/pg2/pg2mysql cd pg2mysql第二步编译二进制文件go build -o pg2mysql ./cmd/pg2mysql/第三步验证安装结果./pg2mysql --help如果终端正常输出了命令帮助信息说明工具已经就绪。也可以在项目根目录直接执行makeMakefile 会以 Linux amd64 为目标交叉编译出pg2mysql_linux可执行文件适合在服务器上部署使用。四、最快配置技巧一份 YAML 打通两端连接运行前需要准备一个 YAML 格式的配置文件向工具交代两个数据库的连接信息。字段虽然不少但结构一目了然上半段是 MySQL 目标库下半段是 PostgreSQL 源库。mysql: database: your-mysql-db username: mysql-user password: mysql-password host: 127.0.0.1 port: 3306 postgresql: database: your-postgres-db username: postgres-user password: postgres-password host: 127.0.0.1 port: 5432 ssl_mode: disable配置时有两点值得注意PostgreSQL 的ssl_mode字段控制 SSL 连接模式disable表示关闭加密连接适合内网直连场景如需启用 SSL可参考 PostgreSQL 官方文档中关于 libpq SSL 模式的定义填写合法取值建议提前用数据库客户端测试两端连接是否畅通避免迁移执行到一半才发现网络不通或账号权限不足。五、实战三步走体检、搬运、复核第一步迁移前体检用 validate 命令排查风险在搬运任何一条数据之前先让工具对 PostgreSQL 源库做一次全面体检./pg2mysql -c config.yml validate命令会逐表比对MySQL 目标表的每个字段能否容纳 PostgreSQL 源表中对应列的实际数据。执行完成后终端会给出两种结果——要么输出表名 OK表示该表数据完全兼容要么列出不兼容的具体行found incompatible rows in apps with IDs [2] found incompatible rows in app_usage_events with IDs [9 10 11 12] found incompatible rows in events with IDs [16 17 18]注意这里的输出信息量很大不仅告诉你哪些表有问题还精确到具体的行 ID。对于没有id主键列的表也会如实报告不兼容行数。拿到这份问题清单后你应该在源库中先修正这些异常数据比如截断超长字段、调整 MySQL 目标表的字段长度确认体检全部通过后再进入迁移环节。绝不带病迁移是这套流程的第一原则。第二步正式搬运用 migrate 命令执行数据迁移体检通过后执行迁移命令./pg2mysql -c config.yml migrate搬运过程中工具会在终端实时打印每一张表的写入进度inserted 1 records into spaces_developers inserted 0 records into security_groups_spaces inserted 2 records into droplets inserted 3 records into lockings inserted 0 records into route_bindings ...值得了解的是迁移器在背后做了不少贴心处理约束管理开始迁移前会先禁用目标库的外键等约束全部数据写入完成后再重新启用避免插入顺序打乱时触发约束冲突断点续传思路对于带id主键的表迁移器会先查询 MySQL 端已存在的 ID 集合只搬运源库中缺失的那部分记录——这意味着如果某次迁移中途失败修复后重跑时不会重复插入已有数据预编译写入每条 INSERT 都使用预编译语句执行批量场景下吞吐量更有保障。如果希望目标表先清空再写入比如这是一次全量重置迁移可以加上--truncate参数./pg2mysql -c config.yml migrate --truncate该参数会在搬运每张表之前先对 MySQL 中的对应表执行TRUNCATE TABLE确保目标端数据与源端完全一致。第三步迁移后复核用 verify 命令逐行对账数据搬过去了怎么确认万无一失交给 verify 命令./pg2mysql -c config.yml verify它会逐张表、逐行地比对 PostgreSQL 与 MySQL 两端内容看目标库中是否存在与源库完全匹配的对应记录Verifying table spaces_developers...OK Verifying table security_groups_spaces...OK Verifying table droplets... FAILED: 1 row missing Missing IDs: 1,3,5 Verifying table organizations...OK Verifying table lockings...OK只要某张表出现FAILED输出就会明确告诉你缺失了哪些行的 ID方便你精准定位、针对性修复而不是面对一整片失败日志无从下手。六、进阶技巧与常见问题解答时间戳数据为何比对结果不一致verify 命令做的是除时间戳外的精确比对原因是 PostgreSQL 的精确时间戳在迁移到 MySQL 时通常会被截断精度。更微妙的是官方 MySQL 对时间戳采用四舍五入策略而 MariaDB 采用直接截断策略两种行为并不一致。因此如果你使用 MariaDB 作为目标库迁移时间精度要求极高的数据时需要对此有心理预期。表没有 id 主键怎么办不要慌。迁移器对无id列的表采用了不同的处理路径——通过逐行比对源库与目标库的差异来搬运缺失记录validate 阶段也会以不兼容行数而非行 ID 列表的形式报告问题。这类表的校验粒度稍粗但功能完整。迁移中途报错如何安全重试得益于先查已有 ID 再搬运的机制直接重新执行 migrate 命令即可。已经成功写入的记录会被自动跳过只有缺失的记录会被补搬无需清空重来。迁移前有哪些准备工作清单✅ 确认 MySQL 端表结构已按 PostgreSQL 结构创建完毕字段长度需满足源数据容量✅ 用 validate 跑通体检修正所有不兼容行✅ 备份两端数据库尤其是 MySQL 目标库✅ 确认两端数据库账号具备读写权限。七、总结让数据迁移告别玄学数据库迁移的恐惧往往来自不可见性——不知道数据会不会丢、不知道丢在哪里、不知道成功了没有。pg2mysql 用验证、迁移、复核三个环环相扣的步骤把不确定性一项项消解掉验证阶段告诉你风险在哪几行迁移阶段告诉你每张表写入了多少条复核阶段告诉你有没有漏掉哪条记录。无论你是数据库管理员、后端开发还是负责系统迁移的架构师如果你的工作清单里恰好躺着PostgreSQL 迁到 MySQL这一项不妨立刻 clone 源码编译一把用 validate 给你的数据做一次免费体检。数据迁移从来不该靠运气而应该靠一套可验证、可追溯的流程——pg2mysql 就是这套流程的可靠载体。【免费下载链接】pg2mysql项目地址: https://gitcode.com/gh_mirrors/pg2/pg2mysql创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考