开源问答 技术问答
正文

多数据库之间同步数据怎么做？

beihangsxh 发布于 2013/03/04 14:23
阅读 4K+
收藏 2
答案 10
SQL Server Java
同样是搞Java，年薪15W和50W到底差在哪里？   

从数据库A中查询数据，更新到数据库B中。如果不在A上做修改（比如触发器等等），有没有比较好的做法呢？

1. 如果数据量比较大，每次读取A的查询结果集和B的已有数据，二者对比后更新B，这样做占用内存会不会太大？

2. 每次更新对B进行重写，大数据量下B数据库的IO会不会太大？

恳请各位老师赐教！

收藏 (2)
举报
加载中
最多投票 最新
0
恺哥
恺哥
2013/03/04 15:05

A和B是异构的吗（是不是同一种数据库）？

如果是同一种数据库的话，你同步的数据表结构是否相同，如果也相同的话，完全可以利用数据库的同步复制机制来解决；(做主从)

如果表结构不相同的话，如果不在应用层处理的话，有两种方式参考：

1，A推数据给B；A有数据的时候，实时或非实时(采用event或trigger)将数据推到B中，B再做处理；

2，B从A拉数据，用一个event(mysql中的job)定时从A中拉数据然后进行处理；

另外可以选择在应用层来做，这个我就不多介绍了，根据业务逻辑coding就行了。

由于不清楚你的业务特点，所以无法进一步的帮你分析。

仅供参考

评论 (1) 引用此答案 举报
beihangsxh
beihangsxh
2013/03/04 15:15
谢谢您的回答！ A和B都是关系数据库，我想从A中做一些查询，将得到的结果集更新到B中，作为某个应用的基础数据，然后B中其他表存储一些应用相关的其他数据，以达到不改变A的前提下扩展应用的目的。
回复 举报
0
渔樵耕读
渔樵耕读
2013/03/05 00:18  iPhone
可以用开源的数据迁移工具etl。基本能满足你的要求。
评论 (0) 引用此答案 举报
0
YondWell
YondWell
2013/03/05 09:32  Android
直接应用层处理就好了。
评论 (0) 引用此答案 举报
0
liu_kelin
liu_kelin
2013/03/05 09:40
楼上 这样会影响运行效率吧。
评论 (0) 引用此答案 举报
0
D
Duke.Yee
2013/03/05 12:42

都是oracle的话推荐用goldengate。

更通用的做法是自己写个工具，A库产生同步指令和数据，B库根据指令和数据同步到本地

评论 (0) 引用此答案 举报
0
佐岸
佐岸
2013/03/05 14:02
数据交换么~
评论 (0) 引用此答案 举报
0
茶
茶几123
2013/03/05 14:07
应该有service层吧，为啥不在里面写定时器，通过A数据库里面的时间去做不行吗？
评论 (0) 引用此答案 举报
0
chuangyu
chuangyu
2013/03/05 14:18

不用触发器，不想每次都全盘复制，就要自己写判断增量的逻辑。


评论 (0) 引用此答案 举报
0
s
sztpzh
2013/07/20 16:27

有些网闸带有同步工具

评论 (0) 引用此答案 举报
0
s
sztpzh
2013/07/20 16:27
比如TIPTOP利谱
评论 (0) 引用此答案 举报
beihangsxh
beihangsxh
最近登录：2017/01/09 19:15

类似问题

数据库常见死锁原因及处理
2 回答
621 阅读
数据库表设计：用数据库版本字段控制程序的并发写操作真的过时了吗？
12 回答
1733 阅读
mysql大数据导入及多地区同步问题
0 回答
215 阅读
在一定时间范围内只允许一个用户操作一条记录的实现方案
2 回答
118 阅读
CouchDB 实现原理
2 回答
2426 阅读
从2000万条开房数据优化谈检索
13 回答
2484 阅读
58到家数据库30条军规解读，你认可几条？
12 回答
1592 阅读
大数据实时处理：百分点实时计算架构和算法
0 回答
5103 阅读
【论题】+【方案】海量数据如何做分页处理
1 回答
1305 阅读
Android性能优化之数据库优化
1 回答
4843 阅读
关于 CouchDB 的一些知识
1 回答
1879 阅读
android 缓存管理及LRU算法
0 回答
4141 阅读
PostgreSQL与MySQL比较
12 回答
7998 阅读
Kudu - 在快数据上的进行快分析的存储
0 回答
1318 阅读
MySQL 数据库分区管理 细节决定成败
2 回答
292 阅读
返回顶部
顶部