Ce qui est bon comme une configuration Hadoop ..Hadoop: configuration qui est bon
Un grand nombre de petites machines avec 512 Mo de RAM ou un petit nombre de grandes machines (somehting comme 2 ou 4 Go Ram)
je peux choisir l'une des deux comme mes noeuds seraient des machines virtuelles ..
S'il vous plaît partager vos pensées ..
les goulots d'étranglement sont très dépendants du type d'application que vous utilisez. Mais en général, je dirais à mon humble avis que votre hypothèse de mémoire est éteint. Vous devriez avoir moins de machines grand public et plus rapides. La façon dont chaque machine est configurée dépend de son rôle, mais il est impossible qu'un grand nombre de machines virtuelles de 512 Mo correspondent même à quelques serveurs grand public de 12 à 24 Go avec un bon réseau/processeur et disque.
équipement haut volume standard est le chemin à parcourir, mais réelle se traduit par ceci:
d'abord obtenir une performance efficace par dollar par machine avant d'aller « sur le côté ». Seulement aller "latéralement" avec des machines sous-équipées devient beaucoup plus cher.
Le groupe des machines bon marché ne signifie pas vraiment "n'importe quelle machine" (contrairement à certaines croyances populaires). Le temps système de chaque noeud est très important, donc l'ajout de mémoire, d'espace disque et de débit disque est généralement plus efficace que l'ajout du noeud suivant. Ceci n'est bien sûr vrai que jusqu'au point où vous êtes toujours dans la catégorie "matériel à gros volume" (grand public fast serveurs). Le dernier kilomètre dans la fréquence d'horloge, la mémoire et le disque doivent être évités. Pour répondre à votre question, optez pour quelques machines Gigabit Ethernet avec 12 Go de RAM et un processeur rapide et de grands disques rapides. Assurez-vous que toutes les machines fonctionnent sur un commutateur Gigabit.
BTW, beaucoup de gens recommandent des machines à double socket, des processeurs Xeon, des disques piratés et 24 Go de RAM et soutiennent que cela donne la meilleure performance/dollar pour Hadoop.