0
J'utilise spark pour calculer des tâches de parallélisme. Pour ce faire, mon projet est connecté à un serveur qui produit des données dont j'ai besoin pour démarrer mon étincelle.Comment connecter le cluster EMR au serveur EC2
Maintenant, je voudrais migrer mon projet vers le cloud sur aws. J'ai reçu mon application spark sur EMR et mon serveur sur EC2. Comment puis-je rendre mon application EMR capable d'utiliser la requête http sur mon serveur EC2? Ai-je besoin de quelque chose comme une passerelle?
Merci,
Passez une bonne journée.
Vous avez raison, mais je n'étais pas assez précis ... Je voudrais utiliser http de EMR pour appeler une API sur EC2. Je ne suis pas sûr que SSH soit la solution, n'est-ce pas? Je ne connais que ssh comme un moyen d'utiliser une machine qui est loin. Je vais éditer mon post afin de le rendre plus précis. – DeepProblems
http est beaucoup plus facile; tout ce dont vous avez besoin est de faire une requête http (en utilisant curl/wget) de votre serveur EM2 EC2 vers votre autre serveur EC2 (où vous auriez hébergé votre point de fin http) – Deepak
Vous voulez dire que l'instance EMR et EC2 se connaissent déjà? Je pensais qu'il y avait une sorte de réglage pour les amener sur le même réseau. Ok, merci pour la réponse, je vais vérifier ça. Bonne journée. – DeepProblems