Comment insérer DataSet ds <Row> dans cassandra avec Java API

Question

Exemple de code nécessaire pour Spark Cassandra Connecteur 2.11-2.0.5, Impossible d'insérer dans Dataset cassandra db directement

Answer 1

1. Ajouter Cassandra

   suivante de dépendance

   <dependency> 
       <groupId>com.datastax.spark</groupId> 
       <artifactId>spark-cassandra-connector_2.10</artifactId> 
       <version>1.2.1</version> 
   </dependency> 
   <dependency> 
       <groupId>com.datastax.spark</groupId> 
       <artifactId>spark-cassandra-connector-java_2.10</artifactId> 
       <version>1.2.1</version> 
   </dependency> 
   

2. définir vos informations de configuration de base de données Cassandra Spark

   SparkConf sparkConf = new SparkConf(); 
   sparkConf.setAppName("Spark-Cassandra Integration"); 
   sparkConf.setMaster("local[4]"); 
   sparkConf.set("spark.cassandra.connection.host", "127.0.0.1"); 
   sparkConf.set("spark.cassandra.connection.native.port", "9042"); 
   sparkConf.set("spark.cassandra.connection.rpc.port", "9160"); 
   sparkConf.set("spark.cassandra.connection.timeout_ms", "5000"); 
   sparkConf.set("spark.cassandra.read.timeout_ms", "200000"); 
   sparkConf.set("spark.cassandra.auth.username", "test_user"); 
   sparkConf.set("spark.cassandra.auth.password", "test_password"); 
   

3. Création Spark Contexte

   JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 
   

4. Une fois que vous avez votre RDD, enregistrez la base de données Cassandra en fournissant le nom de keyspace & nom de la table

   CassandraJavaUtil.javaFunctions(userRDD).writerBuilder(keySpaceName, tableName, CassandraJavaUtil.mapToRow(UserBean.class)).saveToCassandra(); 
   

Pour plus de détails vous pouvez consulter mon blog post Save data to Cassandra tables using Apache Spark