s3distcp

0La chaleur

1Répondre

Comment exécuter la commande "s3-dist-cp" dans le script pyspark shell/pyspark dans EMR 5.x

J'ai eu quelques problèmes en exécutant une commande s3-dist-cp "dans mon script pyspark car j'avais besoin d'un mouvement de données . de s3 à HDFS pour l'amélioration de la performance si ici je par

0La chaleur

1Répondre

Erreur paramètre analyse syntaxique, amazon aws emr

Je suis en train de créer une étape par console Linux: aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--s3

1La chaleur

1Répondre

Étape échoué avec exitCode, Amazon Emr Hadoop, S3DistCp

J'essaie de créer un "Step" et de rassembler de nombreux petits fichiers en un, afin que je puisse le séparer pendant des jours. Le problème est que je suis intetando courir et ne pas me laisser. exéc

0La chaleur

1Répondre

s3distcp copie les fichiers et le répertoire de HDFS vers S3 en une seule commande

J'ai moins de 2 fichiers et 1 répertoire dans HDFS. -rw-r - r-- 1 hadoop hadoop 11194859 05/05/2017 19:53 hdfs: ///outputfiles/abc_output.txt drwxr-xr-x - hadoop hadoop 0 2017-05- 05 19:28 hdfs: /// O

2La chaleur

2Répondre

Utilisez S3DistCp pour copier le fichier de S3 vers EMR

J'ai du mal à trouver un moyen d'utiliser S3DistCp dans mon cluster AWS EMR. Certains anciens exemples qui montrent comment ajouter s3distcp en tant qu'étape EMR utilisent la commande elastic-mapreduc

0La chaleur

1Répondre

Ajout de S3DistCp à PySpark

J'essaie d'ajouter S3DistCp à mon installation Spark locale et autonome. J'ai téléchargé S3DistCp: aws s3 cp s3://elasticmapreduce/libs/s3distcp/1.latest/s3distcp.jar . Et le AWS SDK ainsi: wget htt

0La chaleur

1Répondre

En utilisant GroupBy lors de la copie de HDFS à S3 pour fusionner des fichiers dans un dossier

j'ai les dossiers suivants dans HDFS: hdfs://x.x.x.x:8020/Air/BOOK/AE/DOM/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/AE/INT/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/BH/INT/20171001/201

0La chaleur

1Répondre

Hadoop distcp avec la liste de fichiers

Je voudrais utiliser distcp pour copier une liste de fichiers (fichiers> 1K) dans hdfs. J'ai déjà enregistré la liste des fichiers dans le répertoire local, puis-je utiliser -f pour copier tous les fi

0La chaleur

1Répondre

Copier l'emplacement de s3 en utilisant la commande distcp

je copie des données de HDFS à S3 en utilisant la commande ci-dessous: $ hadoop distcp -m 1 /user/hive/data/test/test_folder=2015_09_19_03_30 s3a://data/Test/buc/2015_09_19_03_30 seau 2015_09_19_03_

0La chaleur

3Répondre

S3-Dist-Cp A défaut sur EMR5

Je suis confronté à des problèmes avec la commande s3-dist-cp dans la version emr-5.0.0. Dans mon application, j'ai besoin de pousser certains fichiers de hdfs vers S3. J'utilise la commande s3-dist-c