VertexRDD me indiquant le type d'erreur non-concordance

Question

Je courais le code suivant tente de créer un graphique en GraphX ​​Spark Apache.

import org.apache.spark.SparkConf 

import org.apache.spark.SparkContext 

import org.apache.spark.graphx.GraphLoader 

import org.apache.spark.graphx.Graph 

import org.apache.spark.rdd.RDD 
import org.apache.spark.graphx.VertexId 

//loads file from the array 

val lines = sc.textFile("hdfs://moonshot-ha-nameservice/data/google-plus/2309.graph"); 

//maps lines and takes the first 21 characters of each line which is the node. 

val result = lines.map(line => line.substring(0,20)) 

//creates a new variable with each node followed by a long . 

val result2 = result.map(word => (word,1L).toLong) 

//where i am getting an error 

val vertexRDD: RDD[(Long,Long)] = sc.parallelize(result2) 

Je reçois l'erreur suivante:

error: type mismatch; 

found : org.apache.spark.rdd.RDD[(Long, Long)] 

required: Seq[?] 

Error occurred in an application involving default arguments. 
     val vertexRDD: RDD[(Long, Long)] = sc.parallelize(result2) 

Answer 1

Tout d'abord, vos cartes peuvent être simplifiées au code suivant:

val vertexRDD: RDD[(Long, Long)] = 
    lines.map(line => (line.substring(0, 17).toLong, 1L)) 

Maintenant, à votre erreur: vous ne pouvez appelez sc.parallelize avec un RDD. Votre vertexRDD est déjà défini par result2. Vous pouvez ensuite créer votre graphique avec result2 et votre EdgesRDD:

val g = Graph(result2, edgesRDD) 

ou, si vous utilisez ma suggestion:

val g = Graph(vertexRDD, edgesRDD)