Comment supprimer des lignes dupliquées dans CockroachDB

Question

J'ai une table dans CockroachDB, j'ai peuplé les données dans la table avant d'appliquer les contraintes pour définir la clé primaire, et parce qu'une partie de l'instruction INSERT a échoué pendant la phase de chargement des données, certains des lignes sont chargées dans la table plus d'une fois par erreur.

La contrainte que je veux appliquer est:

CREATE UNIQUE INDEX ON "MyDB"."MyTable" ("Row_ID"); 

Mais comme les données en double est déjà chargé dans la table, je reçois l'erreur suivante:

pq: multiple primary keys for table "MyTable" are not allowed 

J'ai vérifier si en fait il y a quelques lignes dupliquées avec la requête suivante:

SELECT 
    Row_ID, 
    COUNT(Row_ID) as id 
FROM  
    MyTable 
GROUP BY 
    Row_ID 
HAVING 
    COUNT(Row_ID) > 1; 

Et la requête a montré qu'il y a quelques lignes en double.

Quelle est la meilleure façon de supprimer les lignes en double dans CockroachDB?

Answer 1

S'il s'agit d'une correspondance exacte, vous pouvez créer une nouvelle table avec les enregistrements distincts.

Ensuite, supprimez toute l'ancienne table et repeusez-la de la table créée à la dernière étape.

Pour créer la table:

create table MyWorkData as select distinct * from MyTable; 

Pour supprimer MyTable

delete from MyTable; 

Pour repeupler MyTable. (Merci @benesch pour la correction de l'instruction)

INSERT INTO MyTable SELECT * FROM MyWorkData 

Enfin, supprimez la table de travail.

Answer 2

Si vous gardez-vous, courir se soucient pas de qui ligne dupliquée.

DELETE FROM MyTable WHERE rowid IN (
    SELECT MIN(rowid) FROM MyTable GROUP BY Row_ID HAVING COUNT(*) > 1 
); 

Pour tous les doublons, cette requête supprimera tous, mais la ligne qui a été à peu près a créé la première †

Notez que rowid est pas le même que votre colonne Row_ID. rowid est une colonne CockroachDB interne qui est créée par magie pour les tables sans clé primaire, et est garantie d'être unique pour chaque ligne de la table.

† rowid stocke les données en fonction du temps d'insertion, mais les lignes insérées presque simultanément par des nœuds avec des horloges asymétriques ne peuvent pas trier dans l'ordre d'insertion.