2

Salut, je suis en train de décharger plusieurs tables de Redshift à un seau particulier S3 obtenir ci-dessous erreur:Décharger plusieurs fichiers de Redshift à S3

psycopg2.InternalError: Specified unload destination on S3 is not empty. Consider using a different bucket/prefix, manually removing the target files in S3, or using the ALLOWOVERWRITE option. 

si j'ajoute « AllowOverwrite » option sur unload_function, il est écrasant avant table et déchargement de la dernière table en S3.

C'est le code que j'ai donné:

import psycopg2 

def unload_data(r_conn, aws_iam_role, datastoring_path, region, table_name): 
    unload = '''unload ('select * from {}') 
        to '{}' 
        credentials 'aws_iam_role={}' 
        manifest 
        gzip 
        delimiter ',' addquotes escape parallel off '''.format(table_name, datastoring_path, aws_iam_role) 

    print ("Exporting table to datastoring_path") 
    cur = r_conn.cursor() 
    cur.execute(unload) 
    r_conn.commit() 

def main(): 
    host_rs = 'dataingestion.*********.us******2.redshift.amazonaws.com' 
    port_rs = '5439' 
    database_rs = '******' 
    user_rs = '******' 
    password_rs = '********' 
    rs_tables = [ 'Employee', 'Employe_details' ] 

    iam_role = 'arn:aws:iam::************:role/RedshiftCopyUnload' 
    s3_datastoring_path = 's3://mysamplebuck/' 
    s3_region = 'us_*****_2' 
    print ("Exporting from source") 
    src_conn = psycopg2.connect(host = host_rs, 
           port = port_rs, 
           database = database_rs, 
           user = user_rs, 
           password = password_rs) 
    print ("Connected to RS") 

    for i, tabe in enumerate(rs_tables): 
      if tabe[0] == tabe[-1]: 
       print("No files to read!") 
      unload_data(src_conn, aws_iam_role = iam_role, datastoring_path = s3_datastoring_path, region = s3_region, table_name = rs_tables[i]) 
      print (rs_tables[i]) 


if __name__=="__main__": 
main() 
+0

Vous avez dit qu'il y avait un problème en utilisant l'option « AllowOverwrite » mais je na pas vraiment suivre ce que vous vouliez dire - s'il vous plaît Pouvez-vous expliquer cela mieux/différemment? –

+0

Merci pour votre réponse. Si j'ajoute 'AllowOverwrite' dans la variable unload comme ci-dessous: unload = '' 'unload (' select * from {} ') à '{}' Credentials 'aws_iam_role = {}' manifeste delimiter gzip ', 'addquotes escape allowoverwrite' '' .format (nom_table, chemin_dossier_données, aws_iam_role) toutes les tables peuvent écrire dans le compartiment s3 en même temps en les écrasant à la table suivante. Enfin, je peux voir la dernière table dans le seau s3. –

Répondre

1

Il se plaint que vous enregistrez les données à la même destination. Cela ressemblerait à la copie de tous les fichiers de votre ordinateur dans le même répertoire - il y aura des fichiers écrasés.

Vous devriez changer votre datastoring_path être différent pour chaque table, tels que:

.format(table_name, datastoring_path + '/' + table_name, aws_iam_role) 
+0

Merci beaucoup. Je pensais aussi à mettre un nom pour chaque table, mais je suis nouveau pour le codage python, donc je ne pouvais pas le faire. Votre réponse a donné une solution exacte. –