Lire Sqoop comprimé datafile accrocheurs en utilisant sql pyspark dans la trame de données

Question

J'utilise Cloudera VM 5.8 obtenir une erreur lors de la lecture Sqoop importé fichier Avro, compressé en utilisant le codec accrocheurs

conf = (SparkConf().setMaster("local").setAppName("anoterApp1").set("spark.executor.memory", "1g")) 
sc=SparkContext(conf= conf) 
sqlc = SQLContext(sc) 
df = sqlc.read.format("com.databricks.spark.avro").load("/sqoopimported/avro/compressed/directorypath") 

getting following error: py4j.protocol.Py4JJavaError: An error occurred while calling o266.load.

le code fonctionne bien si Je ne suis pas compresser le fichier en utilisant le codec Snappy

Answer 1

essayer d'ajouter cette configuration

spark.conf.set("spark.sql.avro.compression.codec", "snappy") 

ce document peut également être utile

https://docs.databricks.com/spark/latest/data-sources/read-avro.html