问题描述:
如何删除数据库中的重复数据
问题原因:
某些时候,数据库中需要添加新的唯一性约束,但是数据库中已经存在了重复的数据,此时需要删除重复的数据
解决方法:
查询重复的数据:
select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1
备注:将上面的>号改为=号就可以查询出没有重复的数据了。
(1)Oracle删除重复数据的SQL(删除所有,重复的一个都不留)删除重复数据的基本结构写法:
delete from 表名 a where 字段1,字段2 in
(select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
不过这种删除执行的效率非常低,建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:
CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
delete from 表名 a where 字段1,字段2 in (select 字段1,字段2 from 临时表);
(2)删除重复数据的SQL(重复的留下一条记录)使用ROWID查询重复数据:
select a.rowid,a.* from 表名 a where a.rowid !=
(select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 )
括号中的SQL查询出rowid最大的记录,而外面就是查询出除了rowid最大之外的其他重复的数据了。
删除重复数据(留下最大ROWID的一条)
delete from 表名 a where a.rowid !=
(select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 )
当然,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。
create table 临时表 as select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2;
delete from 表名 a where a.rowid !=
(select b.dataid from 临时表 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 );
commit;
以列形式删除重复数据
delete from test1 where a in (select a from test1 group by a having count(a) > 1)
删除操作有风险,搞事以前
先备份
create table 备份表 as select * from 原表;