Comment exécuter la commande "s3-dist-cp" dans le script pyspark shell/pyspark dans EMR 5.x

Question

J'ai eu quelques problèmes en exécutant une commande s3-dist-cp "dans mon script pyspark car j'avais besoin d'un mouvement de données . de s3 à HDFS pour l'amélioration de la performance si ici je partage cette

Answer 1

Import os 

os.system("/usr/bin/s3-dist-cp --src=s3://aiqdatabucket/aiq-inputfiles/de_pulse_ip/latest/ --dest=/de_pulse/ --groupBy='.*(additional).*' --targetSize=64 --outputCodec=none") 

note: -. S'il vous plaît assurez-vous que vous donnez le chemin complet de s3-dist-cp comme (/ usr/bin/s3-dist -cp)

aussi, je pense que nous pouvons utiliser un sous-processus