elasticsearch-hadoop

0La chaleur

1Répondre

Insertion des tableaux dans ElasticSearch via PySpark

J'ai une affaire beaucoup plus comme celui-ci: Exemple dataframe: from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("email",

1La chaleur

1Répondre

Problème de performance d'écriture Spark + Elastic search

Affichage d'un faible nombre d'écritures dans elasticsearch à l'aide de spark java. Voici les configurations utilisant 13.xlarge machines pour le cluster ES 4 instances each have 4 processors. Set re

0La chaleur

1Répondre

Récupération des métriques à partir de elasticsearch-spark

A la fin d'un travail ETL Cascading, j'extrempe des métriques sur l'ingestion Elasticsearch en utilisant Hadoop metrics que elasticsearch-hadoop expose en utilisant des compteurs Hadoop. Je veux faire

3La chaleur

1Répondre

Elastisearch-Hadoop comment faire une recherche en vrac dans le programme d'étincelles

J'écris un programme d'étincelles qui est fondamentalement un RDD de chaînes. Ce que je dois faire est fondamentalement créer une requête par chaîne et faire la requête basée sur l'index de recherche

0La chaleur

1Répondre

Est-il possible d'écrire dans un index Elasticsearch créé dynamiquement avec une date formatée en utilisant elasticsearch-hadoop/spark?

Dans une étincelle autonome, j'essaie d'écrire à partir d'une base de données vers Elasticsearch. Bien que je puisse obtenir cela pour travailler, ce que je ne peux pas comprendre est comment écrire d

0La chaleur

1Répondre

Configuration Zeppelin et Spark

Je travaille avec Zeppelin (0.7.1) sur Spark (2.1.1) sur mon localhost, et j'essaie d'ajouter des valeurs de configuration aux tâches que je cours. Plus précisément, j'essaie de définir la valeur de e

0La chaleur

2Répondre

java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror

java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror; at org.elasticsearch.spark.serialization.ReflectionUti

0La chaleur

1Répondre

Comment lire quelques colonnes d'elasticsearch par spark?

Dans le cluster es, il a une grande échelle des données, nous avons utilisé étincelle pour calculer les données, mais la manière de elasticsearch-hadoop, suivi par https://www.elastic.co/guide/en/elas

0La chaleur

1Répondre

Comment ignorer les exceptions lors de la mise à jour groupée avec pyspark si le document n'existe pas

J'essaye de faire une opération de mise à jour avec le paquetage elasticoopearch hadoop dans pyspark. Il indique sur la documentation que si aucune donnée n'est trouvée, une exception est levée. Quell

0La chaleur

1Répondre

données d'écriture à ElasticSearch: EsHadoopSerializationException

J'utilise ElasticSearch 5.4 et Hadoop 2.7.3 et que vous voulez écrire des données de HDFS à Elasticsearch.My données blog.json: {"id":"1","title":"git简介","posttime":"2016-06-11","content":"svn与git的最主要