Modification du module Spark dans Spark-kernel

Question

Nous sommes en train d'éditer un module spécifique dans Spark. Nous utilisons le noyau d'étincelle https://github.com/ibm-et/spark-kernel pour exécuter tous nos travaux d'allumage. Donc, ce que nous avons fait est de compiler à nouveau le code que nous avons édité. Cela produit un fichier jar. Cependant, nous ne savons pas comment diriger le code vers le fichier jar.

Il semblerait qu'il se réfère de nouveau à l'ancien script et non à celui qui vient d'être édité et qui vient d'être compilé. Avez-vous une idée sur la façon de modifier certains modules/modules spark et de refléter les changements avec spark-kernel? Si on ne va pas utiliser le noyau d'étincelle, est-ce qu'on peut éditer un module particulier en étincelle par exemple, le module ALS en étincelle: https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala. Merci!

Answer 1

Vous avez probablement édité un fichier scala ou java et recompilé (même si vous les appelez des scripts, ce ne sont pas des scripts au sens strict car ils ne sont pas intervertis). En supposant que c'est ce que vous avez fait ....

Vous n'avez probablement pas remplacé le fichier JAR résultant dans le déploiement que vous testez. Les chances sont que votre fichier JAR nouvellement compilé est quelque part, mais pas dans le lieu que vous observez. Pour l'obtenir correctement, vous devrez construire plus que le fichier JAR, vous devrez reconditionner votre installable et réinstaller.

D'autres techniques existent, si vous pouvez identifier l'élément déballé dans une installation, parfois vous pouvez le copier sur place; cependant, une telle technique est intrinsèquement impossible à maintenir, donc je ne la recommande que sur la vérification du rejet et non sur un système qui sera utilisé. Gardez à l'esprit qu'avec Spark, les nœuds de travail sont parfois déployés de manière dynamique. Si tel est le cas, vous devrez peut-être localiser l'installable du système de déploiement dynamique et vous assurer d'avoir le bon emballage là aussi.