Comment supprimer des données en double de la table SQL

Question

Je suis en train de télécharger et de mettre à jour ma base de données à partir de données provenant d'une source tierce. Malheureusement, il existe de nombreux enregistrements en double dans les données de la source de données tierce.

J'ai regardé quelques questions ici sur SO, mais toutes semblent être des cas où il y a une colonne d'identification qui différencie une rangée de l'autre.

Dans mon cas, il n'y a pas de colonne ID. par exemple.

State City SubDiv Pincode Locality Lat Long 
Orissa Koraput Jeypore 764001 B.D.Pur 18.7743 82.5693 
Orissa Koraput Jeypore 764001 Jeypore 18.7743 82.5693 
Orissa Koraput Jeypore 764001 Jeypore 18.7743 82.5693 
Orissa Koraput Jeypore 764001 Jeypore 18.7743 82.5693 
Orissa Koraput Jeypore 764001 Jeypore 18.7743 82.5693 

Existe-t-il une requête simple que je peux exécuter pour supprimer tous les enregistrements en double et conserver un enregistrement comme original? Donc, dans le cas ci-dessus, je veux supprimer les lignes 3,4,5 de la table.

Je ne sais pas si cela peut être fait en utilisant des instructions SQL simples mais aimerait savoir d'autres avis comment cela peut se faire

Answer 1

j'insérer les données de tiers à un table temporaire que puis:

insert into 
    target_table 
select distinct 
    * 
from 
    temporary_table 

et enfin supprimer la table temporaire. Seules les lignes distinctes (uniques) seront insérées dans la table cible.

Answer 2

Vous peut utiliser la fonction ROW_NUMBER(): SQL SERVER – 2005 – 2008 – Delete Duplicate Rows

Answer 3

;with cte as(
select State City, SubDiv, Pincode, Locality, Lat, Long, 
row_number() over (partition by City, SubDiv, Pincode, Locality, Lat,Long order by City) rn 
from yourtable 
) 
delete cte where rn > 1 

Answer 4

L'un des

• ajouter une colonne à dé-dupliquer et laisser
• faire un SELECT DISTINCT * INTO ANewTable FROM OldTable puis renomme etc
• Utiliser l'approche CTE t-clausen.dk

Et puis ajoutez un index unique sur les colonnes souhaitées

Answer 5

Essayez cette

alter table mytable add id int identity(1,1) 

delete mytable where id in (
select duplicateid from (select ROW_NUMBER() over (partition by State ,City ,SubDiv ,Pincode ,Locality ,Lat ,Long order by State ,City ,SubDiv ,Pincode ,Locality ,Lat ,Long) duplicateid 
from mytable) t where duplicateid !=1) 

alter table mytable drop column id