2017-07-19 4 views
0

Dans mon script cochon, je veux un nom de fichier avec chaque enregistrement pour un traitement ultérieur, donc j'ai utilisé l'option -tagFile. Maintenant, après avoir utilisé l'option -tagFile, les noms de colonnes ont été alignés se un donc je l'ai utilisé ci-dessous commande pour obtenir uniquement les colonnes nécessaires après avoir consulté ce blog: http://www.webopius.com/content/764/resolved-apache-pig-with-tagsource-tagfile-option-generates-incorrect-columnsComment démarrer cochon avec -t ColumnMapKeyPrune sur aws emr

porc -x MapReduce t ColumnMapKeyPrune

maintenant Je veux exécuter le script sur AWS EMR mais je ne suis pas sûr de savoir comment activer cette option -t ColumnMapKeyPrune sur EMR Pig. J'utilise AWS CLI pour créer un cluster aws et soumettre des travaux. Tout pointeur sur la façon d'activer -t ColumnMapKeyPrune sur EMR Pig.?

Répondre

1

J'ai obtenu la solution. Je dois ajouter ci-dessous la ligne dans le manuscrit de porc:

set pig.optimizer.rules.disabled 'ColumnMapKeyPrune';