USQL, extraire le nom de fichier en sortie

Question

J'essaie d'extraire un nom de dossier du magasin data lake et de l'afficher en tant que colonne dans le fichier csv. Existe-t-il un moyen d'extraire le nom entier du dossier ou des parties du nom de dossier via USQL? Par exemple /input/Testing - Je veux le Testing.

Je sais que vous pouvez extraire le nom du fichier et le mettre dans une colonne virtuelle comme ceci:

// Filesets, file set with virtual column 

@q = 
EXTRACT rowId int, 
     filename string, 
     extension string 
FROM "/input/filesets example/{filename}.{extension}" 
USING Extractors.Tsv(); 


@output = 
SELECT filename, 
     extension, 
     COUNT(*) AS records 
FROM @q 
GROUP BY filename, 
     extension; 


OUTPUT @output TO "/output/output.csv" 
USING Outputters.Csv(); 

See pic here.

Answer 1

Vous pouvez utiliser la fonctionnalité {virtual_column} en tout lieu dans le chemin (non seulement pour nom de fichier et extension), et le projeter plus tard. Cela fonctionne:

@q = EXTRACT 
     rowId int, 
     folder string, 
     filename string, 
     extension string 
    FROM "/input/{folder}/{filename}.{extension}" 
    USING Extractors.Tsv(); 

@output = 
    SELECT folder, 
     filename, 
     extension, 
     COUNT(*) AS records 
    FROM @q 
    GROUP BY folder, 
     filename, 
     extension; 

Cependant, notez que la colonne à l'aide virtuel dans le chemin que vous obtenez également des fonctionnalités génériques (vous pick-up tous les dossiers dans le cas où vous avez plus d'un) ...