Cryptage côté serveur s3 utilisant le flux de travail oozie

Question

J'ai un travail sqoop qui écrira les données dans le compartiment s3. Si j'exécute ce travail à partir de la ligne de commande, il crypte les fichiers s3. Mais si j'utilise le même fichier jar pour exécuter un travail Sqoop en utilisant le flux de travail oozie, alors il pousse les données vers s3 mais le chiffrement n'est pas arrivé.

Vous trouverez ci-dessous le flux de travail my oozie.

<java> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> 
     <arg>root</arg> 
     <arg>root</arg> 
     <arg>test</arg> 
    <arg>avro</arg> 
    <arg>sqoop-demo</arg> 
    </java> 
    <ok to="end"/> 
    <error to="email-action" /> 
</action> 

JAR Nous copions les données de hdfs vers s3 en utilisant la commande distcp.

Alors, comment puis-je faire le chiffrement côté serveur pour les fichiers s3 en utilisant le flux de travail Oozie?

Answer 1

J'ai résolu le problème ci-dessus en activant le cryptage s3 dans le cluster EMR avant de lancer le cluster.