écrire une étincelle dataSet JSON avec toutes les clés du schéma, y ​​compris les colonnes null

Question

Je suis en train d'écrire un jeu de données à JSON en utilisant:

ds.coalesce(1).write.format("json").option("nullValue",null).save("project/src/test/resources") 

Pour les enregistrements qui ont des colonnes avec des valeurs nulles, le document JSON ne pas écrire cette clé du tout.

Existe-t-il un moyen d'appliquer des clés de valeur nulle à la sortie json? Ceci est nécessaire puisque j'utilise ce json pour le lire sur un autre jeu de données (dans un cas de test) et que je ne peux pas appliquer un schéma si certains documents n'ont pas toutes les clés dans la classe case (je le lis en mettant le fichier json sous le dossier des ressources et la transformation en un ensemble de données via RDD [String], comme expliqué ici: https://databaseline.bitbucket.io/a-quickie-on-reading-json-resource-files-in-apache-spark/)

Answer 1

Je suis d'accord avec @philantrovert.

ds.na.fill("") 
    .coalesce(1) 
    .write 
    .format("json") 
    .save("project/src/test/resources") 

Depuis DataSets sont immuables, vous n'êtes pas modifier les données dans ds et vous pouvez le traiter (avec des valeurs nulles et tous) dans tout code ci-dessous. Vous remplacez simplement les valeurs nulles par une chaîne vide dans le fichier enregistré.