J'ai un cluster EMR en cours d'exécution qui est persistant. Je ne veux pas démolir. Comment puis-je installer apache drill sur un cluster EMR déjà en cours d'exécution sur aws?Comment installer apache drill sur un cluster EMR déjà en cours sur aws
En supposant que vous avez installé SSM, vous pouvez utiliser ssm.send_command (envoyer la commande à tous les nœuds) pour appeler un script S3 qui installe et démarre l'exploration sur un cluster EMR en cours d'exécution.
Il ya un script ruby fourni sur l'AWS Github https://github.com/awslabs/emr-bootstrap-actions/blob/master/drill/setup_drill qui devrait ressembler à devrait fonctionner, en supposant que vous avez d'abord installé ruby. Je ne vois aucune raison pour laquelle il ne pourrait pas fonctionner sur un cluster existant. EMR exécute des scripts bootstrap après que tous les composants EMR sélectionnés ont été installés, que l'utilisateur hadoop a été créé et que les paramètres de configuration ont été appliqués. Bien sûr, vous testeriez ceci sur un nouveau cluster afin de ne pas casser votre persistant. Le script doit être exécuté sur tous les nœuds, vous pouvez donc le scp ou le copier sur s3 puis sur chaque nœud avec le aws cli, ou utiliser ce que @fmcmac a suggéré. Je vois sur line 38 qu'il est conscient si le nœud actuel est le maître donc il est assez intelligent pour installer correctement.
Il semble que quelques années se soient écoulées depuis la mise à jour, vous devrez donc vérifier les versions des dépendances & qu'il est en train d'installer, et effectuer quelques ajustements. Il semble essayer d'obtenir apache-drill-1.0.0.tar.gz de http://getdrill.org/drill/download qui devrait être actuellement v1.12.0 du nouveau site https://drill.apache.org/download/ donc au moins cette partie doit changer. Il installe également Zookeeper pour exécuter Drill, donc vérifiez si vous exécutez déjà Zookeeper car Drill devra être installé en tant que nouvelle application si zookeeper est déjà là, vous pourriez rencontrer des problèmes si vous essayez d'installer par dessus, la compatibilité des versions est quelque chose vérifier une deuxième fois En outre, les clusters EMR sont faits pour être démolis, les scripts bootstrap & configuration de cluster, et les «étapes» rendent cela facile. Démarrer, exécuter le travail, démolir. C'est moins cher de cette façon. "Les grappes sont des bovins, pas des animaux de compagnie". Même si vous avez besoin que les analystes travaillent, il y a certainement des moments où ce n'est pas utilisé, ce qui vous coûte de l'argent.