Requête SQL - Supprimer les doublons si plus de 3 tours?

Question

Est-ce que quelqu'un a une instruction sql élégante pour supprimer les enregistrements en double d'une table, mais seulement s'il y a plus de x nombre de doublons? Donc, il permet jusqu'à 2 ou 3 doublons, mais c'est tout?

Actuellement, j'ai une instruction select qui effectue les opérations suivantes:

delete table 
from table t 
left outer join (
select max(id) as rowid, dupcol1, dupcol2 
from table 
group by dupcol1, dupcol2 
) as keeprows on t.id=keeprows.rowid 
where keeprows.rowid is null 

Cela fonctionne très bien. Mais maintenant, ce que je voudrais faire est seulement de supprimer ces lignes si elles ont plus de 2 doublons.

Merci

Answer 1

with cte as (
    select row_number() over (partition by dupcol1, dupcol2 order by ID) as rn 
    from table) 
delete from cte 
    where rn > 2; -- or >3 etc 

La requête est la fabrication d'un 'numéro de ligne' pour chaque enregistrement, regroupés par le (dupcol1, dupcol2) et commandé par ID . En effet ce numéro de ligne compte les 'doublons' qui ont les mêmes dupcol1 et dupcol2 et affecte ensuite le numéro 1, 2, 3 .. N, ordre par ID. Si vous voulez garder seulement 2 doublon, vous devez supprimer ceux qui ont été affectés les numéros 3,4,.. N et qui est la partie prise en charge par le DELLETE.. WHERE rn > 2;

En utilisant cette méthode, vous pouvez changer le ORDER BY en fonction de votre préféré ordre (par exemple ORDER BY ID DESC), de sorte que le LATEST a rn=1, puis le prochain est rn = 2 et ainsi de suite. Le reste reste le même, le DELETE ne supprimera que les plus anciens car ils ont les numéros de ligne les plus élevés.

Contrairement à this closely related question, à mesure que la condition devient plus complexe, l'utilisation de CTE et row_number() devient plus simple. Les performances peuvent être problématiques si aucun index d'accès approprié n'existe.

Answer 2

HAVING est votre ami

select id, count(*) cnt from table group by id having cnt>2

Answer 3

assez tard, mais la solution la plus simple pourrait être comme suit supposons que nous avons la table emp_dept (empid, deptID) qui a des lignes en double, Ici, je l'ai utilisé comme @Count varibale .. par exemple 2 dupliqués permis alors @count = 2 Sur la base de données Oracle

delete from emp_dept where @Count <= (select count(1) from emp_dept i where i.empid = emp_dept.empid and i.deptid = emp_dept.deptid and i.rowid < emp_dept.rowid) 

Sur le serveur SQL ou anydatabase qui ne supporte pas id ligne disposent d'un peu, nous avons besoin d'ajouter colonne d'identité juste pour identifier chaque ligne. disent que nous avons ajouté nid que l'identité de la table

alter table emp_dept add nid int identity(1,1) -- to add identity column 

maintenant requête pour supprimer les doublons pourrait être écrite comme

delete from emp_dept where @@Count <= (select count(1) from emp_dept i where i.empid = emp_dept.empid and i.deptid = emp_dept.deptid and i.nid< emp_dept.nid) 

Ici, le concept est de supprimer toutes les lignes pour lesquelles il existe d'autres lignes qui ont la même valeurs de base mais n ou plus grand nombre de plus petit rowid ou identité. Par conséquent, s'il existe des lignes dupliquées, une ligne ayant une identification ou une identité de ligne supérieure sera supprimée. et pour la ligne il n'y a pas de doublon, il échouera dans la recherche de l'identifiant de la rangée inférieure, donc ne sera pas supprimé.

Answer 4

Pour Oracle:

delete from test where rowid = ANY (select min(test.rowid) from test left 
    outer join 
    (select min(rowid) row_id from test group by id,name)t on 
    test.rowid=t.row_id where t.row_id is null group by test.id,test.name);