Comment ignorer les lignes invalides dans U-SQL EXTRACT qui ne correspondent pas au schéma?

Question

J'essaie d'extraire des données à partir d'un fichier CSV utilisant l'instruction suivante EXTRACT U-SQL:

EXTRACT SessionId string, 
     Latitude double, 
     Longitude double, 
     Timestamp int 
FROM "wasb://sessions@myaccount.blob.core.windows.net/" 
USING Extractors.Csv(); 

Mais mon travail ne parvient pas à mi-chemin parce qu'il ya une ligne qui ne correspond pas à ce schéma (commun dans les grands ensembles de données) parce qu'il a le mauvais nombre de colonnes. Comment puis-je éviter que cela échoue tout l'extrait?

Answer 1

Utilisez le slient: true paramètre à Extractors.Csv() ala:

EXTRACT SessionId string, 
     Latitude double, 
     Longitude double, 
     Timestamp int 
FROM "wasb://sessions@myaccount.blob.core.windows.net/" 
USING Extractors.Csv(silent:true); 

Answer 2

Notez que le drapeau en mode silencieux, procédez comme suit:

1. Ignore les lignes qui ont la colonne Mismatched compte
2. remplacez les valeurs non valides par nul si le type de colonne est nullable.

Il erreur encore si:

1. la valeur ne peut pas être jeté au type attendu non annulable.
2. il existe un caractère non valide pour le codage spécifié.