Je me demande si quelqu'un a l'expérience de la configuration d'un cluster Kubernetes en utilisant le Elasticsearch for Hadoop library. Je rencontre des problèmes avec la découverte du nœud qui expire en essayant d'écrire de spark à elasticsearch. J'ai Elasticsearch opérationnel grâce au plugin elasticsearch-cloud-kubernetes pour ES, qui gère la découverte, mais je ne suis pas sûr de la meilleure façon de configurer elasticsearch-hadoop pour connaître les nœuds (pods) du cluster kubernetes. J'ai essayé de définir spark.es.nodes à un service es-client, mais cela ne semble pas fonctionner. Je suis également conscient que je pourrais activer es.nodes.wan.only, mais comme indiqué dans la documentation, cela gravement performances d'impact, ce qui va à l'encontre de l'objectif de les faire fonctionner sur le même cluster. Toute aide serait appréciée.Déployer Elasticsearch pour Apache Spark sur Kubernetes
3
A
Répondre
0
Je ne suis pas si instruit sur elasticsearch-hadoop mais avez-vous essayé de pointer votre elasticsearch-hadoop vers votre service de recherche élastique au lieu de nœuds spécifiques? Vos nœuds maîtres s'occuperont normalement de tout dans votre cluster ES.