标签：去重
mysql百万级别数据去重，现有方法效率很低求指点
本人写了个淘宝商品采集，每天能采集200W以上商品数据，无奈商品id（goods_id）重复率太高。 现在想保留商品重复数据id最低的一行，其余删除。 现有去重方法： delete from 表名 where id not in (select minid from (select min(id) as minid from qiong_goods ……
05-08 立刻查看
问题标签用户 急 处理大量数据 查找出重复的并去重（去重的导入另一张表中）
java数据简化方法去重 3张表，1.yiche （modelid ，parentid） 2. param（id，paramid，value） 3.value（modelid，paramid，value） 查询相同数据 ，parentid 是modelid的上级 ，param表中有4个属性paramid分别对应的是1 ，4，78,256 每个mod……
04-18 立刻查看