Données hiérarchiques dans ETL

Question

Je suis nouveau à l'outil ETL, mais ce que je découvre leur évaluation qu'ils fonctionnent tous avec le modèle plat. C'est à dire. Si vos données nécessitent une transformation d'objet graphique (c'est-à-dire, vérification des champs parents ou d'autres dépendances), elles sont très incommodes (elles peuvent être résolues avec dénormalisation, etc. pour mapper un modèle RDB plus simple). Je veux demander si j'ai bien compris. Et pourquoi ETL éviter de travailler avec plus compréhensible pour les modèles orientés objet métier. Existe-t-il des ETL qui prennent en charge la transformation liée au document ou la transformation liée à la POO?

Answer 1

Je ne suis pas sûr si je comprends bien la question, mais quelques réflexions à considérer:

• La plupart des ETL paradigmes proviennent de l'intégration de données et dans le monde aide à la décision, à savoir de la conception de l'entrepôt de données et la mise en œuvre . Ce monde est traditionnellement orienté base de données relationnelle, avec la plupart des sources de données existantes sous forme de tables de base de données ou de fichiers CSV. Cela pourrait être une raison du "modèle de ligne plate".
• Le modèle de données simple est utile pour les performances à haut débit, et ne pas trop restrictif dans la plupart des cas: les outils ETL sont utilisés pour les tâches nécessitant beaucoup de données.
• La plupart des outils que je connais supposent que les enregistrements source sont traités indépendamment les uns des autres, ils ne s'influencent pas mutuellement. Cependant, ce n'est pas toujours le cas, car certains outils permettent par exemple d'agréger les données (par exemple l'agrégateur Informatica) - le modèle de données n'est plus aussi plat.
• D'autres exemples élargissant le modèle plat incluent la vérification des dépendances de clés étrangères («champs parents»), l'utilisation de tables de dictionnaire (ou même de services Web), la définition de classes externes effectuant des opérations arbitraires. Le modèle de données reste toujours à un niveau d'abstraction inférieur.

Answer 2

Altova MapForce peut travailler avec des données hiérarchiques.