EMR Spark - TransportClient: Impossible d'envoyer RPC

Question

Je reçois cette erreur, j'ai essayé d'augmenter la mémoire sur les instances de cluster et dans les paramètres de l'exécuteur et du pilote sans succès.

17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java.nio.channels.ClosedChannelException 

Quelqu'un a-t-il la moindre idée pour corriger cette erreur?

BTW J'utilise en tant que gestionnaire de YARN groupe

Merci à l'avance

Answer 1

Enfin, je résolu le problème. C'était dû à l'espace disque insuffisant. Une colonne de journaux hadoop a montré:

Hadoop YARN: 1/1 local-dirs sont mauvais:/var/lib/hadoop-yarn/cache/fils/nm-local-dir; 1/1 log-dirs sont mauvais:/var/log/Hadoop-fils/conteneurs

googler je l'ai trouvé http://gethue.com/hadoop-yarn-11-local-dirs-are-bad-varlibhadoop-yarncacheyarnnm-local-dir-11-log-dirs-are-bad-varloghadoop-yarncontainers/

"Si vous obtenez cette erreur, faire un peu d'espace disque!"

Pour voir cette erreur, je dois activer les journaux de fil dans EMR. Voir

http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

Pour avoir accès au port de journaux dans les instances EC2 de cluster j'ai demandé à roger pour changer les groupes de sécurité pour elle

-à-dire:

instance maître écoutait ici: 172.30.12.84:8088 Et le noyau par exemple ici: 172.30.12.21:8042

Enfin, je résolu le problème en changeant etl.py le type de cas par d'autres avec de plus grands disques:

maître: m3.2xlarge
noyau: c3.4xlarge