问题标签用户 急 处理大量数据 查找出重复的并去重（去重的导入另一张表中）

都去打末日人机了啊 

大神们小弟刚参加工作 帮帮忙

select a.*,b*,c.*  from yiche a  left join value b on a.modelid = b.modelid left join param c on b.paramid = c.paramid

我试过SQL语句查询 量太大了 直接就溢出了   要用程序去弄
 是现查 parentid 然后再查parentid下的modelid ，最后比较其他的属性，找出相同的

你还是把问题描述清楚，我看了一下，拿纸写了一下，结果发现没看懂。“param表中有4个属性paramid分别对应的是1 ，4，78,256 每个modelid都有这四个属性，”什么意思啊

引用 5 楼 xiangnan129 的回复:

你还是把问题描述清楚，我看了一下，拿纸写了一下，结果发现没看懂。“param表中有4个属性paramid分别对应的是1 ，4，78,256 每个modelid都有这四个属性，”什么意思啊

这是个属性对应的是1=出厂价格  4=排量   78=出厂日期   256=最大价格 每个modelid都有这四个属性  最后的判断也是根据这四个属性来判断相同的

引用 4 楼 jinwei877811422 的回复:

我试过SQL语句查询 量太大了 直接就溢出了   要用程序去弄
 是现查 parentid 然后再查parentid下的modelid ，最后比较其他的属性，找出相同的

哪张表数据大？

引用 7 楼 xiamizy 的回复:

Quote: 引用 4 楼 jinwei877811422 的回复:

我试过SQL语句查询 量太大了 直接就溢出了   要用程序去弄
 是现查 parentid 然后再查parentid下的modelid ，最后比较其他的属性，找出相同的

哪张表数据大？

第一张表 几万条数据

引用 8 楼 jinwei877811422 的回复:

Quote: 引用 7 楼 xiamizy 的回复:

Quote: 引用 4 楼 jinwei877811422 的回复:

我试过SQL语句查询 量太大了 直接就溢出了   要用程序去弄
 是现查 parentid 然后再查parentid下的modelid ，最后比较其他的属性，找出相同的

哪张表数据大？

第一张表 几万条数据

那你想全查出来吗？ 
先distinct一下，一段一段取呢，400一取这样。

话说楼主直接把表弄好，在说查询条件。。。。这样写，，看的有鸭梨

引用 10 楼 u013652613 的回复:

话说楼主直接把表弄好，在说查询条件。。。。这样写，，看的有鸭梨

好吧我错了 我粘下代码吧  
public static void main(String[] args) throws SQLException {
Set<CarInfos> set = new TreeSet<CarInfos>();
DatabaseOperator dbop = new DatabaseOperator();
FenYeQuery fyq = new FenYeQuery(“select id, paramid, modelid, value from tbl_car_param_value_yiche where paramid in (1, 4, 75, 287) “);
long index = 1;
CarInfos carInfos = null;
String insertSql = null;
ResultSet rs = null;

while(true) {
rs = fyq.query();
if(rs.next()) {
rs.previous();
}
else {
break;
}

while(rs.next()) {
carInfos = new CarInfos();
carInfos.setId(rs.getLong(“id”));
carInfos.setModelid(rs.getLong(“modelid”));
carInfos.setParamid(rs.getLong(“paramid”));
carInfos.setValue(rs.getString(“value”));

if(set.contains(carInfos)) {
insertSql = “insert into tbl_car_param_value_yiche_bak(” +
“id, modelid, paramid, value) values(” + 
carInfos.getId() + “,” + carInfos.getModelid() + “,” + 
carInfos.getParamid() + “, “”” + carInfos.getValue() + “””);”;
dbop.executeSql(insertSql);
}
else {
set.add(carInfos);
System.out.println(“Add Success! Index:” + index++);
}
}
}

System.out.println(“Success!”);
}
}

我在另一个方法里重写了equals 方 法  后来才知道 比的是hashcode。 效率特别低。。

引用 12 楼 jinwei877811422 的回复:

我在另一个方法里重写了equals 方 法  后来才知道 比的是hashcode（不好使 根本不走equals）。 效率特别低。。

还有下面的插入重复的因为查出的数据是单条的，单挑重复就直接拿出来了，我要的结果是4条都相同 （1,4,75,287）才返回