2016-05-11 1 views
0

J'ai un scénario dans lequel je devrais éliminer les doublons de la source et les charger dans la cible. Mais je ne pas utiliser le dessousComment éliminer les doublons sans utiliser de transformations

1) SQL Remplacer

2) Recherche

3) Aggregator

4) Rang

5) commande Unix

6) Java

Note: La source a un grand nombre de recor ds

S'il vous plaît aidez-moi à cet égard

Merci et salutations

Raj

+0

Bizarre exigence de ne pas utiliser les transformations ci-dessus. Eh bien, avez-vous essayé d'utiliser 'Distinct' dans le' Source qualifier' –

+0

Ya c'est vrai c'est une exigence étrange, mais je fais un peu de recherche (dans le cadre d'une tâche) J'essaie d'y parvenir en utilisant la procédure de procédure stockée . En fait, je prévois de ne pas utiliser de cache –

Répondre

1

Je suppose que l'exigence en fait est de supprimer les doublons sans mise en cache. Je vois deux solutions possibles:

  • pousser vers le bas à la base de données source en utilisant « Distinct » propriété Source Qualifier, ou
  • Trier les données à l'aide Source Qualifier propriété Number Of Sorted Ports (souvenez-vous de mettre les ports dans l'ordre correct), créer Expression Transformation qui utilisera une variable locale pour comparer la clé actuelle par rapport à la clé précédente et un indicateur de sortie qui indique un doublon à supprimer, suivi de Filter Transformation qui autorise uniquement les lignes non dupliquées.
+0

Merci Maciejg Je vais essayer –