Nomenclature secondaire sur Hadoop 2.x (Hortonworks)

Question

J'apprends la technologie hadoop 2.x dans Hortonworks, cloudera, et j'ai remarqué qu'il n'y a pas de le namenode secondaire dans l'architecture de hadoop 2.x; Elle a été remplacée par un N ° de standby.

• est le nœud secondaire dépréciée? Pour ce que j'ai compris, les fonctions standby namenode diffèrent des fonctions de namenode secondaires.

• Puis-je construire Hadoop sans NameNode secondaire et NameNode veille sans perte de performance?

Answer 1

selon ma connaissance à la fois secondaire et veille a un NameNode de Temporisateur différent est utilisé en cas de cluster haute

pour votre question

noeud 1.Les n'est pas dépréciée, si vous configurez le cluster HA alors vous n'avez pas besoin d'utiliser le nom de noeud secondaire car le nom de la veille conserve son état synchronisé avec le nom de noeud actif

2.Vous pouvez avoir une configuration hadoop sans noeud secondaire ou de secours sans perte de performance b En cas d'échec de namenode, toutes vos données seront perdues car namenode stocke toutes ses métadonnées en mémoire

Answer 2

Le nom de noeud secondaire et le nom de mode de secours sont différents.

L'ancien nom de domaine 'secondaire' était en grande partie un misnomer. Tout ce qu'il a fait était de vérifier l'image fs de temps en temps afin de permettre une récupération plus rapide du nom de nœud réel, en cas de crash. En aucun cas, il offrait une fonctionnalité de veille/haute disponibilité. Vous devriez pas utiliser ceci.

Le nouveau nom de connexion de secours est une véritable fonctionnalité de disponibilité élevée. En savoir plus sur ce à HDFS High Availability:

Avant Hadoop 2.0.0, le NameNode était un point de défaillance unique (SPOF) dans un cluster HDFS. Chaque cluster avait un seul NameNode, et si cette machine ou ce processus devenait indisponible, le cluster dans son ensemble serait indisponible jusqu'à ce que NameNode soit redémarré ou mis sur une machine séparée.

la disponibilité Cette impactés totale du cluster HDFS de deux manières principales:

Dans le cas d'un événement imprévu, comme un accident de la machine, le cluster serait indisponible jusqu'à ce qu'un opérateur a relancé le NameNode. Des événements de maintenance planifiée, tels que des mises à niveau logicielles ou matérielles sur la machine NameNode, entraîneraient des fenêtres d'indisponibilité de cluster. La fonctionnalité Haute disponibilité de HDFS résout les problèmes ci-dessus en offrant la possibilité d'exécuter deux NameNodes redondants dans le même cluster dans une configuration active/passive avec un secours à chaud. Cela permet un basculement rapide vers un nouveau NameNode dans le cas où un ordinateur tombe en panne, ou un basculement progressif initié par l'administrateur dans le cadre d'une maintenance planifiée.

Vous devez utiliser/configurer un nom de noeud de secours.

sur la version actuelle (2.6 au moment de l'écriture), vous disposez de deux modes HA:

• Quorum Journal Manager
• Utilisation NFS shared storage

Pour Hortonworks distro documentation spécifique, reportez-vous à NameNode High Availability for Hadoop.