2016-06-09 1 views
1

J'utilise un cluster MapR (YARN) avec 3 nœuds. J'essaie de déployer 6 tâches Samza sur le cluster pour un traitement sur les flux de données. Tous les travaux sont corrects. J'ai essayé de déployer 2-3 en parallèle et ils fonctionnent. Toutefois, lorsque je déploie tous les 6 travaux Samza en parallèle, je vois les journaux suivants. Les tâches continuent à s'exécuter et ne produisent pas de flux de données de sortie attendu.ContainerRequestState [INFO] Fini les demandes en attente dans la file d'attente

enter image description here

L'état des noeuds sur mon tableau de bord ResourceManager web est comme suit- enter image description here

Quelqu'un peut-il suggérer comment cela peut-il être résolu. Je pense que peut-être l'application n'a pas suffisamment de ressources pour les exécuter tous en parallèle. Quel changement puis-je essayer?

+0

Pouvez-vous montrer votre configuration de cluster Hadoop. Combien de vCore, de mémoire ... Parce que chaque conteneur a besoin de 1 core et que chaque worker Samza a besoin d'une mémoire de 1024mb (par défaut). – MaximeF

Répondre

0
no more pending requests in queue. 

Ce message signifie que plus de messages dans votre thème Kafka.