2016-02-01 1 views
0

Comment masquer ACCESS_ID_KEY et SECRET_ACCESS_KEY pour accéder à Amazon S3?Hadoop distcp à S3a avec paire de clés cachées

Je sais l'ajouter à core-site.xml, mais il existe peut-être différentes solutions. Avec cette approche, chaque utilisateur du cluster exécutera distcp avec les mêmes touches. Peut-être existe-t-il une solution, comme le stocker dans un fichier de propriétés pour chaque utilisateur du cluster?

Merci.

+0

J'ai trouvé le moyen de le faire. J'ai changé Hadoop DistCp en ma propre implémentation. J'ai ajouté un paramètre supplémentaire qui prend le chemin vers le fichier de propriétés avec les clés AWS. –

Répondre

1

Veuillez voir mon HCC post sur l'utilisation de l'API Hadoop Credential pour ce cas d'utilisation.