spark-avro databricks package

Question

J'essaie d'inclure le paquet spark-avro en démarrant spark-shell, selon les instructions mentionnées ici: https://github.com/databricks/spark-avro#with-spark-shell-or-spark-submit.

étincelle shell

--packages com.databricks: étincelles avro_2.10: 2.0.1

Mon intention est de convertir le schéma Avro pour déclencher le type de schéma, en utilisant la classe SchemaConverter présente dans l'emballage.

import com.databricks.spark.avro._ ... // colListDel est la liste des champs de avsc qui doivent être supprimés pour une raison fonctionnelle.

for(field <- colListDel){ 
println(SchemaConverters.toSqlType(field.schema()).dataType); 
} 

...

Lors de l'exécution de la boucle ci-dessus pour, je reçois ci-dessous erreur:

<console>:47: error: object SchemaConverters in package avro cannot be accessed in package com.databricks.spark.avro 
      println(SchemaConverters.toSqlType(field.schema()).dataType); 

S'il vous plaît indiquer s'il y a quelque chose que je suis absent ou laissez-moi savoir comment inclure SchemaConverter dans mon code scala.

Voici mes coordonnées ENVT: version Spark: 1.6.0 Cloudera VM 5,7

Merci!

Answer 1

Cet objet et la méthode mentionnée étaient privés. S'il vous plaît vérifier le code source de la version 1.0:

https://github.com/databricks/spark-avro/blob/branch-1.0/src/main/scala/com/databricks/spark/avro/SchemaConverters.scala

private object SchemaConverters { 
    case class SchemaType(dataType: DataType, nullable: Boolean) 
    /** 
    * This function takes an avro schema and returns a sql schema. 
    */ 
    private[avro] def toSqlType(avroSchema: Schema): SchemaType = { 
    avroSchema.getType match { 
    ... 

Vous téléchargiez la version 2.0.1 qui a été probablement pas construit de dernière branche 2.0. J'ai vérifié la version 3.0 et cette classe et cette méthode sont publiques maintenant.

Cela devrait résoudre vos problèmes:

étincelle coquille --packages com.databricks: étincelles avro_2.10: 3.0.0

EDIT: ajouté après commentaire

La bibliothèque spark-avro 3.0.0 nécessite Spark 2.0, vous pouvez donc remplacer votre version actuelle de Spark par la version 2.0. L'autre option serait de contacter les databricks et de leur demander de construire la version 2.0.2 - à partir de la dernière branche 2.0.