amazon-emr

6La chaleur

1Répondre

Comment régler le travail d'étincelle sur EMR pour écrire des données énormes rapidement sur S3

J'ai un travail d'étincelle où je fais la jointure externe entre deux cadres de données. La taille de la première trame de données est de 260 Go, le format de fichier est de fichiers texte qui est div

0La chaleur

2Répondre

Fail lecture Avro de S3 en utilisant étincelle dans emr

Lors de l'exécution de mon travail Spark à aws-emr j'eu cette erreur lorsque vous essayez de lire le fichier Avro du seau s3: Il arrive avec les versions: emr - 5.5 .0 emr - 5.9.0 Voici le code: val f

0La chaleur

1Répondre

En utilisant GroupBy lors de la copie de HDFS à S3 pour fusionner des fichiers dans un dossier

j'ai les dossiers suivants dans HDFS: hdfs://x.x.x.x:8020/Air/BOOK/AE/DOM/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/AE/INT/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/BH/INT/20171001/201

1La chaleur

1Répondre

Spark 2.2.0 FileOutputCommitter

DirectFileOutputCommitter n'est plus disponible dans Spark 2.2.0. Cela signifie que l'écriture sur S3 prend énormément de temps (3 heures contre 2 minutes). Je suis en mesure de contourner cela en déf

0La chaleur

3Répondre

Catalogue Spark avec AWS Glue: base de données non trouvée

Ive a créé un cluster EMR avec le catalogue Glue Data. Quand j'invoque l'étincelle coquille, je suis en mesure d'énumérer avec succès des tables stockées dans une base de données de colle via spark.ca

1La chaleur

1Répondre

Echec de la suppression de la base de données dans la ruche

J'essaie d'initialiser la base de données dans la ruche avant chaque exécution. Le code est: command="hive -e \"drop database if exists some_db cascade; create database some_db\""; eval $command; e

1La chaleur

1Répondre

Comment exécuter plusieurs travaux d'étincelle parallèles dans des clusters AWS EMR via la ligne de données AWS

J'essaie de configurer un flux pour exécuter des travaux d'étincelles dans des clusters EMR à l'aide d'AWS Data PipeLine. Et notre flux fonctionne sur le calendrier "sur demande". Dans le cadre de cet

7La chaleur

1Répondre

Spark, Comportement incorrect lors du lancement de SparkException dans EMR

Je suis en train d'exécuter un travail d'étincelle dans EMR avec YARN en tant que gestionnaire de ressources et sur 2 nœuds. J'ai besoin d'échouer volontairement l'étape si ma condition n'est pas remp

1La chaleur

1Répondre

Comment obtenir le statut d'une étape dans le cluster AWS EMR?

J'essaie de créer un cluster EMR et d'exécuter une tâche d'allumage. Je dois lancer un thread de sorte que lorsque mon travail se termine, laissez-moi savoir que l'étape est terminée, car mon cluster

1La chaleur

1Répondre

Spark EMR S3 Traitement grand nombre de fichiers

J'ai environ 15000 fichiers (ORC) présents dans S3 où chaque fichier contient quelques minutes de données et la taille de chaque fichier varie entre 300-700 Mo. Puisque la mise en boucle récursive d'u