Supprimer les entrées dupliquées via SQL?

Question

Est-il possible en SQL de supprimer (une seule) les entrées dupliquées des colonnes composées (ici: city, zip)? Donc, si j'ai ce SQL:

INSERT INTO foo (id, city, zip) VALUES (1, 'New York', '00000') 
INSERT INTO foo (id, city, zip) VALUES (2, 'New York', '00000') 

Puis-je supprimer le premier plus tard avec une instruction SQL? Mon approche ne fonctionne pas pour que

DELETE FROM foo (id, city, zip) 
     WHERE id IN 
      (SELECT id FROM foo GROUP BY id HAVING (COUNT(zip) > 1)) 

Answer 1

Adapté de this article. Ces deux solutions sont génériques et devraient fonctionner sur n'importe quelle implémentation SQL raisonnable.

Supprimer les doublons en place:

DELETE T1 
FROM foo T1, foo T2 
WHERE (T1.city = T2.city AND foo1.zip=foo2.zip) -- Duplicate rows 
    AND T1.id > T2.id;       -- Delete the one with higher id 

simple et devrait fonctionner correctement pour les petites tables ou des tables avec des petits doublons.

Copier des enregistrements distincts à une autre table:

CREATE TABLE foo_temp LIKE(foo); 
INSERT INTO foo_temp (SELECT distinct city, zip) FORM foo; 
TRUNCATE TABLE foo; 

Si vous êtes assez chanceux d'avoir une séquence comme identifiant, simplement:

INSERT INTO foo SELECT * FROM foo_temp; 
DROP TABLE foo_temp; 

Un peu plus compliqué, mais très efficace pour très grandes tables avec beaucoup de doublons. Pour ceux-ci, créer un index pour (ville, zip) améliorerait incroyablement les performances de la requête.

Answer 2

Il n'est pas clair quel SQL est pris en charge dans votre cas, car les différents dialectes ont des caractéristiques différentes. Ce qui vient à l'esprit est d'utiliser un classement sur zip dans la requête interne au lieu de HAVING et ne comprennent que ceux qui ont un rang> 1.

Answer 3

Dans SQL Server 2005 et plus:

WITH q AS 
     (
     SELECT *, 
       ROW_NUMBER() OVER (PARTITION BY city, zip ORDER BY id) AS rn, 
       COUNT(*) OVER (PARTITION BY city, zip ORDER BY id) AS cnt 
     FROM mytable 
     ) 
DELETE 
FROM q 
WHERE rn = 1 
     AND cnt > 1 

pour supprimer la première ligne (ayant les doublons),

WITH q AS 
     (
     SELECT *, ROW_NUMBER() OVER (PARTITION BY city, zip ORDER BY id) AS rn 
     FROM mytable 
     ) 
DELETE 
FROM q 
WHERE rn = 2 

pour supprimer le premier doublon,

WITH q AS 
     (
     SELECT *, ROW_NUMBER() OVER (PARTITION BY city, zip ORDER BY id) AS rn 
     FROM mytable 
     ) 
DELETE 
FROM q 
WHERE rn > 1 

pour supprimer tous les doublons.

Answer 4

DELETE FROM 
    cities 
WHERE 
    id 
NOT IN 
(
    SELECT id FROM 
    (
     -- Get the maximum id of any zip/city combination 
      -- This will work with both duped and non-duped rows 
     SELECT 
      MAX(id), 
      city, 
      zip 
     FROM 
      cities 
     GROUP BY 
      city, 
      zip 
    ) ids_only 
) 

Answer 5

La réponse acceptée n'a pas fonctionné sur mon oracle db. Cela fait:

DELETE FROM 
    mytable A 
WHERE 
    A.rowid > 
    ANY (
    SELECT 
     B.rowid 
    FROM 
     mytable B 
    WHERE 
     A.col1 = B.col1 
    AND 
     A.col2 = B.col2 
     ); 

(fonctionne également pour toute colonne au lieu de rowid.)

here trouvé.