spark-avro

1La chaleur

1Répondre

Comment interroger des ensembles de données au format avro?

cela fonctionne avec parquet val sqlDF = spark.sql("SELECT DISTINCT field FROM parquet.`file-path'") J'ai essayé de la même manière avec Avro, mais il continue à me donner une erreur, même si j'util

0La chaleur

1Répondre

Comment mapper une colonne avec d'autres colonnes dans un fichier avro?

J'utilise Spark 2.1.1 et Scala 2.11.8 Cette question est une extension d'un mes de questions précédentes: How to identify null fields in a csv file? Le changement est que, plutôt que de lire les donné

0La chaleur

2Répondre

Non HBase solution pour stocker des données énormes et mettre à jour en temps réel

Salut, j'ai développé une application où je dois stocker TB de données pour la première fois, puis 20 GB incrémental mensuel comme insérer/mettre à jour/supprimer sous la forme de xml qui sera appliqu

0La chaleur

2Répondre

Fail lecture Avro de S3 en utilisant étincelle dans emr

Lors de l'exécution de mon travail Spark à aws-emr j'eu cette erreur lorsque vous essayez de lire le fichier Avro du seau s3: Il arrive avec les versions: emr - 5.5 .0 emr - 5.9.0 Voici le code: val f

0La chaleur

1Répondre

Comment convertir un fichier de données en avro en utilisant un schéma?

Comment convertir une image de données au format Avro en utilisant un schéma spécifié par l'utilisateur?

0La chaleur

1Répondre

databricks schéma avro ne peut pas être converti en un structtype SQL Spark

nous avons kakfa hdfs connecteur d'écriture dans hdfs au format avro par défaut. Un échantillon o/p: Obj^A^B^Vavro.schema "[" null », "string"]^@ Í³ø $ {9d <> ¾ã^X: < 8d> uv^K^H5^F °^F^B < 8a>^B {"sev

2La chaleur

1Répondre

Comment convertir des octets de Kafka à leur objet d'origine?

Je récupère des données de Kafka et désérialise ensuite le Array[Byte] en utilisant le décodeur par défaut, et ensuite mes éléments RDD ressemblent à (null,[[email protected]), (null,[[email protected

1La chaleur

1Répondre

Hive on spark. Lire le fichier parquet

J'essaie de lire le fichier parquet dans Hive on Spark. J'ai trouvé que je devais faire quelque chose sorte de que: CREATE TABLE avro_test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerD

0La chaleur

1Répondre

Comment charger manuellement les fichiers AVRO spark-redshift dans Redshift?

J'ai un travail Spark qui a échoué à la partie COPY de l'écriture. J'ai toutes les sorties déjà traitées en S3, mais je n'arrive pas à trouver comment les charger manuellement. COPY table FROM 's3://

0La chaleur

1Répondre

Convertir org.apache.avro.generic.GenericRecord à org.apache.spark.sql.Row

Je liste des org.apache.avro.generic.GenericRecord, avro schema en utilisant cela, nous devons créer dataframe avec l'aide de l'API SQLContext, pour créer dataframe dont il a besoin RDD de org.apache.