美文网首页技术
关于数据迁移的记录

关于数据迁移的记录

作者: igool | 来源:发表于2016-12-15 13:06 被阅读62次

        一般的业务开发,不会涉及到多种数据库类型的操作。因为,无论是对于开发,还是运维,成本都是非常高的。如果是ORACLE数据库到MYSQL的数据备份,目前我所了解的开源解决方案有2种:

A:基于linkedin的databus方案(低延时变化数据捕获系统)https://github.com/linkedin/databus

B:使用阿里的yugong项目(数据库迁移 (目前主要支持oracle -> mysql/DRDS))https://github.com/alibaba/yugong

        由于时间关系,databus的我没有花时间研究(道听途说是目前性能最强的),主要学习了yuyong,总体来说,简单易懂。

      架构如下

说明:

1 一个Jvm Container对应多个instance,每个instance对应于一张表的迁移任务

2 instance分为三部分

  a.  extractor  (从源数据库上提取数据,可分为全量/增量实现)

  b.  translator  (将源库上的数据按照目标库的需求进行自定义转化)

  c.  applier  (将数据更新到目标库,可分为全量/增量/对比的实现)

以上,是它官网的说明。如果你还不明白,我来简单用另外一个图来解释一下。

其实,你仔细看的话,实际上就是对我们真正要如何做数据迁移进行了抽象,所以,有了这个认识之后,你再去理解这个东西,就会上手快一些。实际上,真正需要写代码的地方就在translator这一块。有且仅在你的源表与目标表字段,名称,类型不一致的时候。比如像这样。

1 字段名称不一样

2 类型不一样

3 新增字段

小提示:

1 表名与类的映射定义

yugong.table.white=t_sync_ee_122jq

类名就是这样:TSyncEe122jqDataTranslator

2 数据转换的类得放在com.taobao.yugong.translator下面,源码里面会读这个包下面的类文件。

相关文章

  • 关于数据迁移的记录

    一般的业务开发,不会涉及到多种数据库类型的操作。因为,无论是对于开发,还是运维,成本都是非常高的。如果是O...

  • GreenDao 3.x 数据库版本升级 迁移数据

    网上搜索很多都是3.0以下的版本数据迁移配置,在此记录自己3.2.2版本的数据迁移的配置 1.修改之前的数据迁移类...

  • 关于数据迁移

    情况:1.实际的应用中,我们会遇到数据库某些表及表中部门列数据的迁移2.笔者当前按照自己的业务需求使用情况,初步测...

  • artisan 命令使用总结

    artisan 命令使用总结 artisan 命令使用过程的一些记录! ==数据迁移== 之前一直对数据迁移很感兴...

  • Oracle迁移记录

    Oracle迁移记录 背景说明 自建机房中的所有服务全部迁移至阿里云服务器,重中之重-Oracle数据库迁移,包括...

  • Room数据库迁移记录

    记录一下Room数据库迁移过程中遇到的问题。要迁移Room数据库,只要需要实现androidx.room.migr...

  • Android Room Migration

    stackoverflow关于数据迁移的提问[https://stackoverflow.com/question...

  • 在Win10下使用pycharm建立python3Django应

    这篇文章主要记录的是在学习Django时遇到的一些问题。 1.关于django创建数据库及表迁移 1.数据库配置:...

  • SQLServer 数据迁移到 MySQL

    由于未记录,导致以前用过的kettle数据迁移备份下来的文件都不认识,再次需要迁移时需要重新阅读文档。所以此次迁移...

  • 公众号迁移注意事项

    公众号迁移(A迁移到B)1、300元审核费用,申请一次,约1-7天完成2、迁移的数据包括:已关注的粉丝、违规记录、...

网友评论

    本文标题:关于数据迁移的记录

    本文链接:https://www.haomeiwen.com/subject/ctpimttx.html