Quelles sont les meilleures pratiques pour trouver le delta?

Question

Je suis nouveau à travailler avec des paquets SSIS et je suis confus sur les meilleures pratiques pour trouver le delta lors de l'apport des données de l'atterrissage à la mise en scène. L'exigence consiste à créer un couple de rapports à partir du CDS (Consolidated Data Store) et les flux de données de dource à Landing to Staging en CDS sous forme de packages ETL et enfin les rapports sont construits à partir du CDS.

J'ai créé avec succès des paquets pour transférer les données de la source à l'atterrissage car ils sont assez simple. Le déplacement des données de Landing à Staging est un peu déroutant car la date modifiée n'est pas suffisante car 2 changements par rapport à la dernière exécution ETL peuvent renvoyer les données aux données de la date précédente, ce qui signifie aucun changement depuis la dernière exécution ETL. Par exemple, une valeur passe de A à B, puis revient à A - signifie que les données ont été renvoyées à l'état d'origine, mais que la colonne modifiedOn a été modifiée.

Ainsi, si toutes les colonnes de débarquement sont comparées aux colonnes existantes Mise en scène dans une ligne ou seulement les colonnes qui sont pertinentes par exemple à fournir un rapport? Ou y a-t-il un autre moyen de trouver le delta?

S'il vous plaît laissez-moi savoir si cela est peu claire ou a besoin de plus de détails.

Answer 1

C'est une question pour votre entreprise. Nous nous attendons à ce qu'ils définissent ce qui est considéré comme un delta dans notre document d'exigences. Pour certains c'est seulement quelques champs et pour d'autres c'est tout. Cela dépend des besoins de l'entreprise. Je voudrais poser la question à celui qui vous a donné l'obligation de commencer. Si vous ne comprenez pas bien votre entreprise, vous pouvez inclure une suggestion pour ce que vous pensez du delta et la plupart du temps, ils ne sont pas obligés de se débrouiller eux-mêmes et accepteront votre suggestion. Mais faites-le seulement si vous comprenez vraiment les besoins commerciaux normaux associés aux données. Vous pouvez également leur fournir un pro et con des diverses possibilités pour les aider à décider.

Answer 2

Pourquoi voulez-vous obtenir le delta exact? Je veux dire pourquoi ne voulez-vous pas qu'une rangée déjà engagée dans votre CDS, soit réengagée si aucun changement réel n'est survenu? Si vous n'avez aucune raison commerciale (rapports nécessaires) pour le faire, il semble que vous ajoutez de la complexité là où ce n'est pas nécessaire.

Quoi qu'il en soit, si vous avez vraiment besoin, je vous recommande de calculer un checksum des colonnes intéressantes et vérifier la somme de contrôle de votre nouvelle ligne avec la somme de contrôle de l'ancienne ligne. Ce blog devrait vous aider à comprendre comment utiliser une somme de contrôle.