Installation Apache Bigtop sur RHEL 7

Question

Je recherche un peu d'aide, j'ai été chargé de défendre un cluster Hadoop au travail. Je l'ai fait seul truc de nœud sur les ordinateurs portables à la maison avec la pile open source (je suis en train de coller avec l'open source, pile Apache pour éviter les frais de licence. En ce moment nous avons aucun intérêt à Cloudera ou Hortonworks.).

je suis tombé sur la pile Apache BigTop (1.2.0) et poussé autour de là. En ce moment je suis en train encore envelopper la tête autour de ce que cela donne (je ne l'ai pas trouvé une référence à Hadoop/versions Spark, etc ..). Pourrais-je obtenir de l'aide sur les points suivants:

1. Quelles sont les versions de Hadoop/Spark/d'autres outils que la version 1.2.0 fournir?

2. est-il une bonne référence sur l'installation d'une complète Hadoop/cluster Spark à partir de zéro sous RHEL 7? J'ai 12 serveurs, je prévois de faire 2 namenodes et 10 datanodes. Est-ce que BigTop est approprié pour cela, ou dois-je simplement installer chaque paquet et le configurer manuellement?

3. J'ai trouvé ce qui suit:

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

Ce qui semble prometteur, mais son pour CentOS 7, que je connais est similaire, mais pas exactement la même chose. Quelqu'un peut-il suggérer comment je peux modifier cela pour travailler sous RHEL 7? J'ai trouvé des repos, mais aucun pour RHEL ....

4. La documentation semble assez mince sur la page officielle Apache, ou peut-être que je ne cherche pas au bon endroit .. Existe-t-il de bons liens vers des références pour une installation en grappe complète?

Merci à tous ceux qui peuvent aider, je l'apprécie vraiment!

Answer 1

Quelles versions de Hadoop/Spark/autres outils la version 1.2.0 fournit-elle?

Commander notre doc pour 1.2.0 version:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

Vous aurez Hadoop 2.7.3 et 2.1.0 étincelle hors-the-box. Nous avons fourni des artefacts installables S3 pour vous de tester la fonctionnalité

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

NOTE: nous aurons une migration de S3 efficacement 10/15, 2017. Nous aurons des changements correspondants par la suite. Si vous souhaitez l'essayer dès que possible. S'il vous plaît changer le baseurl à:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

est-il une bonne référence sur l'installation d'une complète Hadoop/cluster Spark à partir de zéro sous RHEL 7? J'ai 12 serveurs, je prévois de faire 2 namenodes et 10 datanodes. Est-ce que BigTop est approprié pour cela, ou dois-je simplement installer chaque paquet et le configurer manuellement?

RHEL et CentOS devraient être très similaires.Je suggère:

• Essayez nos paquets CentOS directement sur RHEL et voyez si cela fonctionne. J'ai utilisé des paquets Bigtop CentOS 6 sur RHEL 6 en production et ça fonctionne comme un charme.
• Si ce qui précède ne fonctionne pas, Bigtop est une solution entièrement ouverte pour vous permettre de créer votre propre distribution Hadoop. Vous pouvez construire toute la pile contre votre Distro désirée. à partir de rien. Nous avons bien conçu des outils et des frameworks dockerlized pour le supporter. Si vous savez quoi faire, augmentez votre besoin à la liste de diffusion user@bigtop.apache.org. Nous serions heureux d'aider.

J'ai trouvé ce qui suit: https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

Oui. Vous cherchez le bon documentaire. Et c'est exactement ce que j'ai mentionné ci-dessus: bien que ce soit pour CentOS 7, vous pouvez essayer le repo sur RHEL 7.