apache-spark-1.6

1La chaleur

2Répondre

Comment activer ou désactiver le support Hive dans spark-shell via la propriété Spark (Spark 1.6)?

Y at-il une propriété de configuration que nous pouvons définir pour désactiver/activer le support de Hive à travers spark-shell explicitement dans spark 1.6. J'ai essayé d'obtenir toutes les propriét

3La chaleur

1Répondre

Comment se connecter sur un champ binaire?

Scala/Spark, je suis en train de faire ce qui suit: val portCalls_Ports = portCalls.join(ports, portCalls("port_id") === ports("id"), "inner") Cependant, je reçois l'erreur suivante: Exception

0La chaleur

1Répondre

Spark - Convertir RDD [Vector] en DataFrame avec des colonnes variables

Quelle est la meilleure solution pour généraliser la conversion de RDD [Vector] en DataFrame avec scala/spark 1.6. Les entrées sont différentes RDD [Vector]. Le nombre de colonnes dans Vector peut êtr

0La chaleur

1Répondre

Exception dans le thread "principal" java.lang.NoClassDefFoundError: org/apache/étincelle/sql/SqlContext

J'utilise la version IntelliJ 2016,3. import sbt.Keys._ import sbt._ object ApplicationBuild extends Build { object Versions { val spark = "1.6.3" } val projectName = "example

0La chaleur

1Répondre

CassandraSourceRelation non sérialisable lors de la jonction de deux dataframes

J'ai une configuration de dataframes avec le connecteur spark-cassandra 1.6.2. J'essaie d'effectuer quelques transformations avec cassandra. Datastax Enterprise version est 5.0.5. DataFrame df1 = spar

0La chaleur

1Répondre

Comment extraire le ElementType d'un tableau en tant qu'instance de StructType

J'essaie de décomposer la structure d'une structure de données complexe en étincelle. Je suis seulement intéressé par les tableaux imbriqués sous la racine. Le problème est que je ne peux pas récupére

0La chaleur

2Répondre

Exception dans le thread "principal" java.lang.NoClassDefFoundError: org/apache/spark/interne/Logging

Mon client Spark échoue avec une erreur de "consignation". J'ai trouvé lors de la navigation de l'erreur est due à l'incompatibilité des pots. J'utilise Spark 1.6.3 et toutes les dépendances sont util

0La chaleur

1Répondre

Pourquoi l'importation de SparkSession dans spark-shell échoue-t-elle avec "l'objet SparkSession n'est pas membre du package org.apache.spark.sql"?

J'utilise Spark 1.6.0 sur ma machine VM, Cloudera. J'essaie d'entrer des données dans la table Hive à partir du shell Spark. Pour ce faire, j'essaie d'utiliser SparkSession. Mais l'importation ci-dess

-1La chaleur

1Répondre

Lire la table Impala avec SparkSQL

J'essayais d'exécuter une requête qui avait des fonctions comme lead .. over .. partition et Union. Cette requête fonctionne bien quand j'essaie de l'exécuter sur impala mais échoue sur Hive. Je dois

-1La chaleur

1Répondre

étincelle scala - fusion mutiple lignes dans un