Est-il possible d'utiliser des tables managées U-SQL comme ensembles de données de sortie dans Azure Data Factory?

Question

J'ai un petit pipeline ADF qui copie une série de fichiers d'un compte de stockage Azure vers un compte Azure Data Lake. En tant qu'activité finale dans le pipeline, je souhaite exécuter un script U-SQL qui utilise les fichiers copiés en tant qu'entrées et envoie le résultat à une table gérée U-SQL. Le script U-SQL extrait essentiellement les données des fichiers copiés, applique une certaine transformation, puis l'insère dans une table gérée U-SQL existante.

Comment (si possible) puis-je ajouter la table U-SQL en tant que jeu de données de sortie dans Azure Data Factory?

Answer 1

Vous ne pouvez pas ajouter de table interne U-SQL en tant qu'ensemble de données en sortie dans Azure Data Factory (ADF). Une question similaire a été soulevée récemment: here et la réponse de Michael Rys (le "père" d'U-SQL) était "Je sais que l'équipe ADF a un travail à faire pour vous."

Vous pouvez utiliser howerver Azure Data Factory pour exécuter un script U-SQL paramétré, où le paramètre d'entrée est le chemin de fichier. Cela aurait un résultat similaire.

pipeline Exemple d'un recent question:

{ 
    "name": "ComputeEventsByRegionPipeline", 
    "properties": { 
     "description": "This is a pipeline to compute events for en-gb locale and date less than 2012/02/19.", 
     "activities": [ 
      { 
       "type": "DataLakeAnalyticsU-SQL", 
       "typeProperties": { 
        "scriptPath": "adlascripts\\SearchLogProcessing.txt", 
        "scriptLinkedService": "StorageLinkedService", 
        "degreeOfParallelism": 3, 
        "priority": 100, 
        "parameters": { 
         "in": "/input/SearchLog.tsv", 
         "out": "/output/Result.tsv" 
        } 
       }, 
... 

Fondamentalement, le script U-SQL va de:

@searchlog = 
    EXTRACT ... 
    FROM @in 
    USING Extractors.Tsv(); 

à:

@searchlog = 
    EXTRACT ... 
    FROM "/input/SearchLog.tsv" 
    USING Extractors.Tsv(); 

que je pense réalise la même chose que vous vouloir.