Amazon Auto Scaling Service peut-il fonctionner avec Elastic Map Reduce Service?

Question

étant donné que le service web d'amazon doit payer, alors je veux juste demander à ppl qui a travaillé dessus avant de sauter dedans, et confirmer quelques connaissances à ce sujet. Question numéro un: Dans le service de mise à l'échelle automatique d'Amazon, il est possible d'augmenter et de réduire les instances. cela veut-il dire? Cela signifie-t-il changer le type d'instance?

ou peut démarrer/arrêter plus/moins base d'instance sur la condition définir?

Question deux: le cadre de mise à l'échelle automatique peut-il fonctionner avec map reduce? Par exemple, si j'ai un cas extrême, j'aurai des tâches sans fin, et le temps pour finir la tâche variera, et pourrait être très intensif en calcul. puis-je utiliser le service de mise à l'échelle automatique pour réduire la carte?

Merci

Answer 1

re. question 1: "scale up and scale down" signifie qu'ils peuvent ajouter plus d'instances que nécessaire et que le nombre d'instances peut alors être réduit (c'est-à-dire que les instances de machines virtuelles peuvent être arrêtées) lorsqu'elles ne sont plus nécessaires.

re. question deux: je dirais que l'auto-mise à l'échelle n'a pas vraiment de sens pour réduire la carte, au moins si vous pensez à Hadoop: L'une des principales idées derrière Map/Reduce & Hadoop est que les données sont réparties entre beaucoup des noeuds et les noeuds peuvent ensuite traiter les données pour les fermer, idéalement sur leur disque local ou au moins sur une autre machine à proximité (physique). Le démarrage d'une nouvelle instance est bien sûr possible, mais cela n'a de sens que si vous n'avez pas besoin de copier les données que vous souhaitez traiter vers la nouvelle instance. Espérons que cette explication a du sens pour vous ... En tout cas, consultez Amazon's Elastic Map Reduce offre, qui fait ce que vous voulez, au moins si j'ai bien compris votre question.

Answer 2

Vous pouvez jeter un coup d'œil à Themis, un cadre d'autoscaling EMR développé chez Atlassian. Les fonctionnalités actuelles incluent l'autoscaling réactif (basé sur la charge de cluster actuelle) ainsi que l'autoscaling proactif (basé sur des planifications prédéfinies), une interface Web et un outil très facile à configurer.

(Toutes nos excuses pour l'affichage dans un ancien fil de discussion, mais la réponse peut être intéressante pour les lecteurs qui découvrent ce fil de discussion.)