两张大表对比找出差集

text_android 发布于 2013/07/29 20:05

阅读 1K+

答案 8

Java

Oracle

我目前有两张大表 A表字段( name,obj,operate1,operatetime)

B表字段(name,obj,operate2,operatetime)

两张表的关系 A.name = b.name and a.obj = b.obj

A表中operatetime 会比b表中的operatetime 晚1-10分钟

我现在需要找出在A表中存在，并且A表operatetime 1-10分钟内 B表没有生成指定记录的信息

目前 A表和B表都有千万级别的记录（oracle数据库）。

请问，我应该如何找出两张表的差集，使用JAVA处理如果数据量小我可以用两层循环进行对比，但是数据量太大我应该使用什么方法呢？

假如使用oracle自身的minus求差集 A表的operatetime要比B表的operatetime晚1-10分钟这里如何处理呢？

@text_android：这样的大数据，使用java应该如何实现呢？我能想到的是先对比两个list 找出相同的然后在用得到的结果和第一个相减得到随后的结果集，但是数据量太大了啊，用这样的方法outofMemory了啊，还有其他实现方法吗，求解 (2013/07/30 17:09)

加载中

IdleMan

2013/07/29 22:12

引用来自“铂金胖子”的答案

效率不高，你试试。如果b.name是索引，或许能快点

select * from a where exists ( select 'x' from b where b.name = a.name and b.operatetime >= a.operatetime -10分钟 and b.operatetime <= a.operatetime-1分钟 )

差了 a.obj =b.a.obj

SELECT *
  FROM A
 WHERE EXISTS (SELECT NULL
          FROM B
         WHERE B.NAME = A.NAME
           AND A.OBJ = B.A.OBJ
           AND B.OPERATETIME >= A.OPERATETIME - 10分钟
           AND B.OPERATETIME <= A.OPERATETIME - 1分钟);

如果返回记录很多，加了索引也没用，否则加索引性能会显著提高。实在嫌慢可以考虑加个并行hint

评论 (4) 引用此答案举报

IdleMan

2013/07/30 12:57

当然 not in和not exists对null的处理还是有区别的

回复举报

IdleMan

2013/07/30 12:56

回复 @text_android : 在oracle没有exists和in的区别，因为是基于CBO优化器。具体快慢要看数据的分步情况、返回数据的多少来定

回复举报

text_android

2013/07/30 12:52

千万级别的两张表，用exists多长时间能出结果？我这是个虚拟机上的oracle，测试不出来

回复举报

铂金胖子

2013/07/29 22:19

千万级别的两个表查询，我经常这么干,要不 exists 要不 not in，指考虑结果，不考虑效率。主要用到存储，还是能出结果的。

回复举报

中山野鬼

2013/07/29 21:52

oracle的不会，其他方案想听，我可以提提意见。

评论 (2) 引用此答案举报

中山野鬼

2013/07/30 14:44

回复 @text_android : 按项独立成表，然后独立用数据计算代码做算法。当然我说的比较空，对于基于oracle的基本没有实用价值。

回复举报

text_android

2013/07/30 12:50

您好，请问其他方案能指点一下吗？

回复举报

铂金胖子

2013/07/29 22:02

效率不高，你试试。如果b.name是索引，或许能快点

select * from a where exists ( select 'x' from b where b.name = a.name and b.operatetime >= a.operatetime -10分钟 and b.operatetime <= a.operatetime-1分钟 )

评论 (0) 引用此答案举报

泡不烂的凉粉

2013/07/30 03:10

我理解能力确实差了些, 我没理解楼主想获取表A信息还是表B信息,因为提到

"在A表中存在，并且A表operatetime 1-10分钟内 B表没有生成指定记录的信息"

其实我更愿意理解成, A是登录信息表. B是行为记录表.
需要搜索登录信息表A信息内容, 条件是登录时间+1分钟至+10分钟时间段行为记录表B 中无行为记录.

如果按照这样的理解语句应该是 SELECT * FROM A WHERE NOT EXISTS (SELECT * FROM B WHERE A.name=B.name AND A.obj=B.obj AND (B.operatetime -A.operatetime)>1分钟 AND B.operatetime-A.operatetime<10分钟

评论 (0) 引用此答案举报