Comment exécuter AWS S3 à Redshift Copier la commande à partir du script SQL?

Question

J'essaie de copier des fichiers de S3 vers Redshift en utilisant la commande de copie. J'ai utilisé la commande suivante à travers SQL workbench et cela a bien fonctionné, il a copié les données à Redshift Table.

copy <Redshift table name> 
from 's3://my-bucket/path/to/directory/part' 
iam_role 'arn:aws:iam::<IAM ROLE>' 
delimiter '|' dateformat 'auto' IGNOREHEADER AS 1; 

mais quand je copiais la même commande dans le fichier .sql et a essayé d'exécuter ce fichier SQL en utilisant pipeline de données AWS, pipeline échoue tout sans donner aucune erreur explicite.

En raison de certains problèmes avec l'outil de génération de définition de pipeline développé en interne, je ne suis pas en mesure d'utiliser l'activité de type CopyToRedshift.

Je voudrais savoir comment exécuter cette commande de copie à partir d'un fichier?

Answer 1

Essayez ceci !!

COPIE TABLE_NAME

DE S3File_PATH

credentials "* AWS Credentails"

ignoreheader comme 1

ACCEPTINVCHARS

delimiter

'|'

Cette commande de copie devrait fonctionner à partir d'un fichier SQL .Si pas essayer de vérifier les erreurs dans stl_load_error_details