Je suis un développeur SSIS. Je fais beaucoup de concepts de recherche de procédures stockées SQL dans SSIS. Mais lorsque je viens à Azure Data Factory, je n'ai aucune idée de comment effectuer une recherche en utilisant une procédure stockée SQL.Comment effectuer une recherche dans Azure Data Factory?
Quelqu'un peut-il me guider s'il vous plaît?
Merci d'avance! Jay
Azure Data Factory (ADF) est davantage un outil ELT qu'un ETL, par conséquent les recherches directes ne sont pas prises en charge. Au lieu de cela, ce type d'opération, avec d'autres transformations est poussé vers le bas dans le calcul que vous utilisez réellement. Par exemple, si vous déplacez des données vers SQL Server, Azure SQL Database ou Azure SQL Data Warehouse, vous devez vous assurer que toutes les données se trouvent sur le même serveur et utiliser un Stored Procedure task pour exécuter les recherches à l'aide de T-SQL et de jointures. Si vous utilisez Azure Data Lake Analytics (ADLA), vous utiliserez U-SQL Activity pour exécuter U-SQL ou exécuter des procédures stockées ADLA, en effectuant à nouveau des recherches via des jointures ou du code U-SQL personnalisé tel que Combiner, Applier, Reducer. En fait, vous pouvez utiliser n'importe quelle option de calcul ADF comme SQL, HDInsight (y compris Hive, Pig, Réduire la carte, Streaming et Spark script), Machiine Learning ou les activités personnalisées .net.
Vous devez donc penser différemment avec ADF. Jetez un coup d'oeil à travers cet article pour mieux comprendre la transformation des données dans l'ADF:
Transform données dans Azure données usine https://docs.microsoft.com/en-us/azure/data-factory/data-factory-data-transformation-activities
En aparté, je rarement utiliser Lookups dans SSIS que les performances dans les premières versions utilisé pour être pauvre. Bien que cela a été amélioré dans les versions ultérieures, généralement si vous pouvez le faire dans SQL vous devriez probablement. Ce modèle exploite la puissance de SQL Server, plutôt que de faire glisser des données dans le pipeline SSIS, par exemple à des fins de recherche (qui sont essentiellement des jointures) et de réapplication des données. Je réserve les transformations de flux de données principalement lorsque des données non relationnelles sont impliquées, par exemple xml ou en joignant votre serveur de messagerie avec des données relationnelles. C'est mon point de vue personnel de toute façon:)
Merci pour l'explication exhaustive! Fondamentalement, je fais aussi des opérations de niveaux de fichiers. Soyons précis Notre fichier d'entrée comporte de nombreux champs (disons au nombre de 50) avec délimiteur (virgule). Nous devrions modifier/rendre le fichier pour écrire un fichier de sortie acceptable. J'ai quelques questions sur la transformation liée ci-dessus comme. Pourriez-vous clarifier les choses pour moi? – Jayendran
1. Comment fait-on la concaténation de chaînes simples? -Je passe par l'activité personnalisée avec .NET (https://docs.microsoft.com/en-us/azure/data-factory/data-factory-use-custom-activities). Mais je ne sais pas quelle partie de la fonction/codes sera utilisée pour ma concaténation simple. En outre, existe-t-il un autre moyen que l'activité personnalisée pour le faire? 2. Comment copier un fichier à partir d'un serveur SFTP Clients et passer à mon espace de stockage en nuage azure? Y at-il une Tâche intégrée disponible ou nous devrions le faire dans les mêmes activités personnalisées? – Jayendran
3. Comment renommer/supprimer un fichier des clients SFTP? 4. Comment effectuer une opération simple, par exemple, si # field1 = "male" alors notre fichier de sortie contient la colonne # field4 dans la première ligne? Merci à l'avance – Jayendran