SQL Import ignorer les doublons

Question

J'essaie de faire un transfert groupé dans une base de données SQL Server. Le fichier source a des doublons que je veux supprimer, donc j'espérais que l'opération téléchargerait automatiquement le premier, puis rejeter le reste. (J'ai défini une contrainte de clé unique). Le problème est le moment où un téléchargement en double est tenté, le tout échoue et est annulé. Est-ce que je peux juste dire à SQL de continuer?

Answer 1

Essayez de gros insérer les données à la table temporaire, puis SELECT DISTINCT comme @madcolor suggéré ou

INSERT INTO yourTable 
SELECT * FROM #tempTable tt 
WHERE NOT EXISTS (SELECT 1 FROM youTable yt WHERE yt.id = tt.id) 

ou tout autre domaine dans la clause WHERE.

Answer 2

Si vous utilisez un outil SQL tel que SQL Plus ou DBVis ou Toad, je ne le soupçonne pas. Si vous le faites par programmation dans une langue, vous devez diviser et conquérir. Il est probable que l'exécution d'une mise à jour ligne par ligne et l'interception de chaque exception soit un processus trop long. Vous pouvez donc effectuer une opération par lots sur tout le bloc SQL et, en cas d'échec, le faire sur la première moitié. Faites-le sur la première moitié de la première moitié. Itérer de cette façon jusqu'à ce que vous ayez un bloc qui réussit. Rejeter le bloc et faire la même procédure sur le reste du SQL. Tout ce qui viole une contrainte finira par devenir une seule instruction SQL que vous savez enregistrer et rejeter. Cela devrait importer avec autant de traitement en bloc que possible tout en jetant les lignes invalides.

Answer 3

Utilisez SSIS pour cela. Vous pouvez lui dire d'ignorer les doublons. Mais assurez-vous d'abord qu'ils sont de vrais doublons. Que faire si les données dans certaines colonnes sont différentes, comment savez-vous quel est le meilleur dossier à conserver?