Spark 2.0.0 tronqué de la table Redshift en utilisant jdbc

Question

Bonjour J'utilise Spark SQL (2.0.0) avec Redshift où je veux tronquer mes tables. J'utilise ce spark-redshift package & Je veux savoir comment je peux tronquer ma table.Peut-être quelqu'un s'il vous plaît partager un exemple de cela ??

Answer 1

Vous devez spécifier mode dans la bibliothèque avant d'appeler la sauvegarde. Par exemple:

my_dataframe.write 
    .format("com.databricks.spark.redshift") 
    .option("url", "jdbc:redshift://my_cluster.qwertyuiop.eu-west-1.redshift.amazonaws.com:5439/my_database?user=my_user&password=my_password") 
    .option("dbtable", "my_table") 
    .option("tempdir", "s3://my-bucket") 
    .option("diststyle", "KEY") 
    .option("distkey", "dist_key") 
    .option("sortkeyspec", "COMPOUND SORTKEY(key_1, key_2)") 
    .option("extracopyoptions", "TRUNCATECOLUMNS COMPUPDATE OFF STATUPDATE OFF") 
    .mode("overwrite") // "append"/"error" 
    .save()