Est-ce que quelqu'un connaît des clusters accessibles gratuitement qui sont ouverts au public et qui utilisent un framework Hadoop/MapReduce? Il y a beaucoup de tutoriels sur l'utilisation de MapReduce, mais y a-t-il un moyen de tester les exemples sans utiliser ma machine individuelle locale et installer le framework requis?Clusters disponibles pour utiliser le framework Hadoop/MapReduce
Merci!
Amazon EC2 a prêt à utiliser cluster Hadoop pour le loyer par temps, pas très cher, même pour le jeu. L'autre façon est de jouer avec Cloudera Hadoop VM http://www.cloudera.com/downloads/virtual-machine/. Vous pouvez exécuter un cluster sur plusieurs machines virtuelles.
Vous pouvez également utiliser Apache Whirr pour déployer votre propre cluster de test sur Amazon EC2. Cela vous donne plus de contrôle que Elastic Map Reduce. Il devrait être bon marché si vous l'utilisez seulement pour tester la carte de réduire les travaux pour de courtes périodes de temps.
Je vais bientôt avoir une solution - ce n'est pas gratuit, mais c'est TRÈS bon marché.
J'ai construit un petit groupe pour la formation et l'éducation (via l'accès Internet) et je serai en ligne en mai 2013. Je louerai un groupe de 4 noeuds pour 2 $ par jour ou 10 $ par semaine. Étant donné que le cluster n'est pas très volumineux, il ne gère que les jeux de données de 20 à 40 Go, mais il dispose d'un accès Web complet pour exécuter les scripts mapreduce et pig.
Alors que je demande de l'argent, ce n'est pas vraiment une affaire - j'espère juste pouvoir payer les factures d'électricité!
Cordialement, Serge
Vous pouvez donner essayer. Bien que ce ne soit pas gratuit, c'est assez abordable. Il fournit un environnement complet pour pratiquer Hadoop, Spark, Kafka, Hive, Cochon, HBase, Oozie, Zookeeper, Flume, Sqoop, Mahout, R, Linux, Python, Scala, NumPy, Scipy, Scikit-apprendre, etc Vous n'aurez pas pour installer ou configurer un logiciel sur votre machine locale pour utiliser CloudxLab. Beaucoup de formateurs populaires utilisent déjà CloudxLab.
Il semble intéressant serge. Cependant, une fois que votre ticket expire, vous pouvez choisir de conserver les données moyennant des frais par jour avec prépaiement (bien sûr, je ne veux pas dire que le cluster est shunté). sur le stockage bon marché). Je pense à des développeurs ici avec des connexions plus lentes, mais ont besoin de tester les données de gb. Gardez également à l'esprit https://hadoopsdk.codeplex.com/ pour les utilisateurs .NET – Dreamwalker
Cela semble être une bonne idée. Initialement, je ne voulais pas offrir de stockage de données car j'ai un espace limité, et pas un niveau de disponibilité de cinq neuf ... Mes plans étaient d'ajouter du stockage de données, des nœuds plus grands et HBase supportés ... – DataMania
BTW, presque prêt à aller en direct, donc les tests à compléter et les choses à vérifier ... – DataMania