Impossible de charger PiplineModel/LogisticRegressionModel mlib spark

Question

J'ai un problème avec le chargement d'un PiplineModel sérialisé contenant un étage LogisticRegressionModel. J'ai:

java.lang.IllegalArgumentException: Field "coefficients" does not exist. 

J'avais essayé à la fois de charger le pipeline complet et juste le stade logistique et d'obtenir la même erreur. De plus, j'ai vérifié si coeficients() renvoie des valeurs avant de sauvegarder le modèle et c'est le cas.

Des idées de ce qui pourrait arriver?

Answer 1

J'ai rencontré le même problème il y a quelques jours et finalement, j'ai trouvé qu'il était causé par des versions incompatibles de Spark utilisé pour sauvegarder le modèle de charge, par exemple, utiliser Spark 2.1.x pour former et enregistrer un modèle, puis utiliser Spark 2.0 .x pour charger ce modèle.

Pour plus de détails, vous pouvez vous reporter à ce numéro JIRA https://issues.apache.org/jira/browse/SPARK-17163.