Meilleur moyen de comparer le contenu de deux fichiers plats

Question

Nous avons beaucoup de | (pipe) fichiers plats séparés, que nous traitons sur une base quotidienne dans SQL Server en utilisant un paquet SSIS. Chaque fichier plat est divisé en section d'en-tête, section de contenu et section de pied de page. Nous recevons régulièrement une version plus récente des mêmes fichiers. Nous essayons d'implémenter la fonctionnalité de comparaison de fichiers entre deux versions du même fichier, pour réduire la charge de traitement.

Quelle méthode sera la plus efficace?

1. Stocker les deux versions du même fichier dans des tables séparées SQL Server avec colonne de contrôle et de filtrer les lignes pour lesquelles les valeurs de somme de contrôle ne sont pas assorties.

2. Implémentation de la logique de somme de contrôle similaire en C# ou tout autre algorithme de comparaison disponible en C#.

Vous pouvez suggérer tout autre nouvel algorithme pour obtenir le même résultat. Bien, si vous chargez déjà ces deux dans SQL Server déjà, alors un moyen rapide utiliserait EXCEPT() or INTERSECT() en fonction de ce que votre objectif est de

Answer 1

select * from version2 
except 
select * from version1 

Ceci renvoie des lignes dans version2 qui ne correspond pas exactement aux lignes de version1. Vous pouvez également sélectionner une seule colonne si vous voulez comparer cela.