Lorsque je tente de créer une ressource EMRcluster avec ces propriétés:AWS Datapipeline ServiceAccessSecurityGroup
J'ai cette erreur: Terminé avec des erreurs. Vous devez également spécifier un ServiceAccessSecurityGroup si vous utilisez une sécurité personnalisée
Groupe de sécurité d'accès au service: outre les paramètres de pare-feu mentionnés dans les deux groupes de sécurité mentionnés. Le trafic Internet entre AWS EMR Serveurs de service (vous n'avez aucun contrôle sur ceci, entièrement géré par AWS) et votre instance Slave EMR, doit être autorisé.
This security group contains 2 entries
HTTPS* (8443) TCP (6) 8443 ElasticMapReduce-Slave-Private(sg-id)
HTTPS* (8443) TCP (6) 8443 Default Security Group of VPC
Sans cette EMR ne fonctionnera pas avec DataPipeline. Ni Datapipeline ne spécifie un moyen de lister ceci dans la définition de pipeline. L'équipe AWS est consciente de cela. Donc, comme une solution de contournement s'il vous plaît utiliser le modèle personnalisé fourni par AWS, et cloner, modifier en fonction de vos besoins.
"utiliser le modèle personnalisé fourni par AWS" De quel modèle parlez-vous? –
"Exécuter un travail sur un cluster Elastic MapReduce", fourni sous Source-> Construire à l'aide d'un modèle. –
Cette solution de contournement n'est pas valide si vous devez exécuter le cluster dans un sous-réseau privé (comme le suppose le PO, car le paramètre ServiceAccessSecurityGroup n'est nécessaire que dans ces circonstances). L'option "Exécuter un travail sur un cluster Elastic MapReduce" proposée lance le cluster EMR dans un sous-réseau public. – blamblam
Avez-vous trouvé une solution? – tarzan