Comment lire quelques colonnes d'elasticsearch par spark?

Question

Dans le cluster es, il a une grande échelle des données, nous avons utilisé étincelle pour calculer les données, mais la manière de elasticsearch-hadoop, suivi par https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

Nous devons lire des colonnes pleines d'un index. Y a-t-il quelque chose qui aide?

Answer 1

Oui, vous pouvez définir le paramètre de configuration "es.read.field.include" ou "es.read.field.exclude" respectivement. Tous les détails here. Exemple en supposant que Spark 2 ou supérieur.

val sparkSession:SparkSession = SparkSession 
    .builder() 
    .appName("jobName") 
    .config("es.nodes", "elastichostc1n1.example.com") 
    .config("es.read.field.include", "foo,bar") 
    .getOrCreate()