Je travaille sur un design de moteur de recherche, qui doit être exécuté sur le nuage. Nous venons de commencer, et nous n'avons pas beaucoup d'idées sur Hdoop. Quelqu'un peut-il dire si HBase, MapReduce et HDFS peuvent fonctionner sur une seule machine ayant Hdoop installé et fonctionnant dessus?HBase, MapReduce et HDFS peuvent-ils fonctionner sur une seule machine sur laquelle Hadoop est installé et s'exécute?
Répondre
Oui, vous pouvez. Vous pouvez même créer une machine virtuelle et l'exécuter sur un seul "ordinateur" (ce que j'ai :)).
La clé est d'installer simplement Hadoop dans "Pseudo Distributed Mode" qui est même décrit dans le Hadoop Quickstart.
Si vous utilisez la distribution Cloudera, ils ont même créé les configurations nécessaires pour cela dans un RPM. Look here for more info in that.
HTH
Oui. Dans mon environnement de développement, je lance
- NameNode (HDFS)
- SecondaryNameNode (HDFS)
- DataNode (HDFS)
- JobTracker (MapReduce)
- TaskTracker (MapReduce)
- Maître (HBase)
- RegionServer (HBase)
- QuorumPeer (ZooKeeper - nécessaire pour HBase)
De plus, j'exécute mes applications et mappe et réduit les tâches lancées par le traqueur de tâches. L'exécution de nombreux processus sur la même machine entraîne de nombreux conflits pour les cœurs de processeur, la mémoire et les E/S disque. Il n'est donc pas idéal pour les hautes performances, mais il n'y a pas d'autres ressources disponibles.
même ici, je courais Hadoop/HBase/ruche sur un seul ordinateur. Si vous voulez vraiment vraiment voir l'informatique distribuée sur un seul ordinateur, prenez beaucoup de RAM, l'espace disque dur et aller comme ça -
- font une ou deux machines virtuelles (utiliser la boîte virtuelle)
- installer hadoop sur chacun d'entre eux, faites votre installation réelle (pas un virtuel) comme le maître, reste esclave
- configurer hadoop pour l'environnement réel distribué
- maintenant quand hadoop commence, vous devriez avoir un cluster de plusieurs ordinateurs (un réel, repos virtuel)
cela pourrait être une expérience, car à moins d'avoir un système multi-cpu ou multicœur décent, une telle configuration consommera plus sur le maintien lui-même que de vous donner des performances.
gud chance.
--l4l
- 1. Source Hadoop MR: HDFS vs HBase. Avantages de chacun?
- 2. Hadoop mapreduce en streaming à partir de HBase
- 3. Hadoop ou Hadoop Streaming pour MapReduce sur AWS
- 4. Hadoop: (?) Map/reduce de HDFS
- 5. Hadoop MapReduce InputFormat obsolète?
- 6. OpenStreetMap et Hadoop
- 7. Hadoop: Performance itérative MapReduce
- 8. Erreur dans Hadoop MapReduce
- 9. Premiers pas avec MapReduce/Hadoop
- 10. Différences entre la construction sur une machine avec VS2010 installée et sur une machine avec le SDK 7.1 installé
- 11. mulltiple compte cookies sur une seule machine
- 12. Est-ce qu'un programme Scala être compilé pour fonctionner sur une machine virtuelle, sans avoir Scala installé sur la machine donnée?
- 13. Vérifiez si Adobe Reader est installé sur la machine client
- 14. Fonctions Ajax brisées sur les navigateurs (sur une seule machine)
- 15. demande rapide sur hbase
- 16. Un conteneur de servlet sur Hadoop?
- 17. Trouver des lignes correspondantes avec Hadoop/MapReduce
- 18. Comment puis-je laisser fonctionner mon Winform sur une seule machine?
- 19. HBase est-elle stable et prête pour la production?
- 20. Idée de projet avec Hadoop MapReduce
- 21. Une raison d'avoir SQL Server 2005 et 2008 installé sur la même machine?
- 22. iOS4.2 et iOS4.1 sur la même machine?
- 23. Intégrité référentielle et HBase
- 24. Approche de déploiement nServiceBus sur une seule machine
- 25. Plusieurs esclaves sur une seule machine avec hudson
- 26. Idle hadoop master - comment le faire fonctionner?
- 27. Comment écrire et lire des fichiers dans/depuis Hadoop HDFS en utilisant Ruby?
- 28. Est-il possible d'exécuter Hadoop en mode Pseudo-Distribué sans HDFS?
- 29. Vérifiez si SQL Server est installé sur une machine à travers C#
- 30. Comment utiliser le client Ruby CLI pour lancer un JobFlow basé sur une description JSON JobFlow sur Amazon Elastic MapReduce