Delta Load - processus ETL pour identifier les mises à jour

Question

J'ai une table avec plus de 30 millions de lignes et cela prend trop de temps pour faire une troncature et recharger. Je peux faire la charge incrémentale en utilisant la sortie SSIS non adaptée, mais j'ai du mal à obtenir les charges de Delta où les enregistrements ont été mis à jour. La table n'a pas de champs Date donc aucun moyen de vérifier quand les données ont été modifiées pour la dernière fois.

Je me demandais simplement si quelqu'un avait rencontré une situation similaire et comment l'avez-vous résolu? Je ne veux pas charger la table complète car cela peut prendre 3 heures sur cette seule table!

Answer 1

Sur la sortie correspondante, effectuez une autre recherche pour vérifier si la ligne entrante est différente de la ligne avec la clé primaire correspondante. Si c'est différent, faites une mise à jour, si c'est la même, ne faites rien.

Je connais deux façons de vérifier si les lignes sont identiques.

1) Ajouter une colonne dérivée à la nouvelle ligne entrante qui crée une valeur de hachage de chaque colonne. Ensuite, créez la même colonne de hachage dans votre table locale.Comparez les hachés dans la recherche.

2) Dans la recherche, joignez tous les champs ... c.-à-d. A -> A, B -> B, C -> C, etc. Puis redirige les non-correspondances pour faire une mise à jour. Cela peut ne pas être possible si vous avez des colonnes blob.

Le numéro 1 est probablement plus efficace mais plus difficile à configurer.