Dynamic FROM dans l'instruction U-SQL

Question

J'essaie de générer une clause dynamique FROM dans U-SQL afin de pouvoir extraire des données de différents fichiers en fonction d'un résultat de requête précédent. C'est quelque chose comme ceci:

@filesToExtract = SELECT whatevergeneratesthepaths from @foo; <-- this query generates a rowset with all the file we want to extract like: [/path/file1.csv, /path/file2.csv] 
SELECT * FROM @filesToExtract; <-- here we want to extract the data from file1 and file2 

Je crains que ce genre de requêtes dynamiques ne sont pas encore prises en charge, mais quelqu'un peut-il aider à me montrant la façon d'y parvenir? Il semble que la seule approche possible consiste à générer un autre script U-SQL et à l'exécuter ensuite.

Merci d'avance.

Answer 1

Il n'est pas complètement clair à partir de votre question si vous voulez que les noms de fichiers soient récupérés dynamiquement et transmis à une instruction EXTRACT, ou le nom de tables/rowsets et passés à une clause FROM de SELECT. Ou les deux.

En général, vous ne pouvez pas générer dynamiquement des noms source à partir de votre expression U-SQL. Vous pouvez déposer une demande de fonctionnalité ici http://aka.ms/adlfeedback pour les sources paramétrables dynamiquement ou statiquement. Cela dit, en fonction de vos besoins exacts, il peut y avoir des moyens d'atteindre vos objectifs sans la solution décrite ci-dessus. Par exemple, vous pouvez écrire votre code en tant que fonction table paramétrée, puis passer les différents ensembles de lignes avec des scripts différents, ou - si vous pouvez décider statiquement quel ensemble de lignes choisir - vous pouvez utiliser l'instruction IF.

Voici un exemple pseudo-code:

DECLARE EXTERNAL @someconditionparameter Boolean = true; 

IF (@someconditionparameter) THEN 
    @data = EXTRACT a int, b string FROM @fileset1 USING Extractors.Csv(); 
ELSE 
    @data = EXTRACT a int, b string FROM @file2 USING ...; 
END; 

@results = MyTableValuedFunction (@data); 
... 

Si vos fichiers sont schématisés différemment, vous pouvez être en mesure d'utiliser des ensembles de colonnes flexibles (actuellement en avant-première, voir les notes de version) dans la TVF pour gérer la variabilité du schéma de l'ensemble de lignes.