Erreur AWS Cloud Formation: Échec de la stabilisation du cluster ElasticMapReduce

Question

Cette erreur est toujours présente malgré mes recherches me signalant qu'il s'agit d'une erreur interne à Amazon. Je n'ai aucune idée par où commencer avec cette erreur, ou s'il y a même quelque chose que je peux faire pour l'aider.

Le fait que je l'ai reçu régulièrement me fait penser que c'est quelque chose qui ne va pas avec mon script. Ici, il est:

{ 
    "Description": "Demo pipeline.", 
    "Resources": { 
    "s3Demo": { 
     "Type" : "AWS::S3::Bucket", 
     "Properties" : { 
      "BucketName" : "example-dna-demo" 
     } 
    }, 

    "s3Access": { 
     "Type": "AWS::IAM::Role", 
     "Properties": { 
      "ManagedPolicyArns": [ 
       "arn:aws:iam::aws:policy/AmazonS3FullAccess" 
      ], 
      "AssumeRolePolicyDocument": { 
       "Version": "2012-10-17", 
       "Statement": [{ 
        "Effect": "Allow", 
        "Action": "sts:AssumeRole", 
        "Principal":{ 
         "Service": "firehose.amazonaws.com" 
        } 
       }] 
      }, 
      "RoleName": "kinesisS3Access" 
     }, 
     "DependsOn": "s3Demo" 
    }, 

    "kinesisDemo": { 
     "Type": "AWS::KinesisFirehose::DeliveryStream", 
     "Properties": { 
      "DeliveryStreamName": "Demo-Stream", 
      "S3DestinationConfiguration": { 
       "BucketARN" : "arn:aws:s3:::example-dna-demo", 
       "BufferingHints" : { 
        "IntervalInSeconds" : 300, 
        "SizeInMBs" : 5 
       }, 
       "CompressionFormat" : "UNCOMPRESSED", 
       "Prefix" : "twitter", 
       "RoleARN" : { "Fn::GetAtt": [ "s3Access", "Arn" ]} 
      } 
     }, 
     "DependsOn": "s3Access" 
    }, 

    "S3LambdaAccess":{ 
     "Type": "AWS::IAM::Role", 
     "Properties": { 
      "ManagedPolicyArns": [ 
       "arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess" 
      ], 
      "AssumeRolePolicyDocument": { 
       "Version": "2012-10-17", 
       "Statement": [{ 
        "Effect": "Allow", 
        "Action": "sts:AssumeRole", 
        "Principal":{ 
         "Service": "lambda.amazonaws.com" 
        } 
       }] 
      }, 
      "RoleName": "lambdaS3Access" 
     } 
    }, 
    "LambdaDemo": { 
     "Type" : "AWS::Lambda::Function", 
     "Properties" : { 
      "Code" : { 
       "S3Bucket" : "example-dna-cloud-formation", 
       "S3Key" : "lambda_function.py.zip" 
      }, 
      "Description" : "Looks for S3 writes and loads them into another resource", 
      "FunctionName" : "DemoLambdaFunction", 
      "Handler" : "lambda-handler", 
      "Role" : { "Fn::GetAtt": [ "S3LambdaAccess", "Arn" ]}, 
      "Runtime" : "python2.7" 
     }, 
     "DependsOn": "S3LambdaAccess" 
    }, 
    "EMRClusterJobFlowRole": { 
     "Type": "AWS::IAM::Role", 
     "Properties": { 
      "AssumeRolePolicyDocument": { 
       "Version": "2012-10-17", 
       "Statement": [{ 
        "Effect": "Allow", 
        "Action": "sts:AssumeRole", 
        "Principal":{ 
         "Service": "ec2.amazonaws.com" 
        } 
       }] 
      }, 
      "RoleName": "ClusterRole" 
     } 
    }, 
    "EMRServiceRole": { 
     "Type": "AWS::IAM::Role", 
     "Properties": { 
      "AssumeRolePolicyDocument": { 
       "Version": "2012-10-17", 
       "Statement": [{ 
        "Effect": "Allow", 
        "Action": "sts:AssumeRole", 
        "Principal":{ 
         "Service": "ec2.amazonaws.com" 
        } 
       }] 
      }, 
      "RoleName": "EC2InstanceRole" 
     } 
    }, 
    "EMR":{ 
     "Type" : "AWS::EMR::Cluster", 
     "Properties" : { 
      "Applications": [ 
       { 
        "Name" : "Spark" 
       } 
      ], 
      "ReleaseLabel": "emr-5.0.0", 
      "Instances" : { 
       "CoreInstanceGroup" : { 
        "BidPrice": 0.06, 
        "InstanceCount" : 1, 
        "InstanceType" : "m4.large", 
        "Market": "SPOT" 
        }, 
       "MasterInstanceGroup" : { 
        "BidPrice": 0.06, 
        "InstanceCount" : 1, 
        "InstanceType" : "m4.large", 
        "Market": "SPOT" 
        } 
       }, 
      "JobFlowRole" : "EMRClusterJobFlowRole", 
      "Name" : "DemoEMR", 
      "ServiceRole" : "EMRServiceRole", 
      "LogUri":"s3://toyota-dna-cloud-formation/cf-logging" 
     }, 
     "DependsOn": ["EMRServiceRole", "EMRServiceRole"] 
    } 
    } 
} 

J'imagine que vous avez probablement ne pouvait pas courir parce que j'ai une fonction lambda obtenir le code d'un seau S3, que j'ai changé le nom d'ici. Je suis en train d'apprendre des scripts de formation au cloud, et je sais qu'il y a beaucoup de choses que je ne fais pas ici, mais je veux juste construire une petite chose qui fonctionne, et ensuite le remplir un peu plus. Je sais que mon script a fonctionné jusqu'aux deux rôles IAM et au cluster EMR. Merci d'avance.

EDIT: J'ai spécifié les versions d'instance récentes et j'ai choisi une propriété ReleaseLabel. sans chance. Même erreur

Answer 1

Il se peut que votre compte ait atteint la limite EC2 dans la région dans laquelle vous tentez de déployer. Avez-vous essayé une autre région?

Answer 2

Il s'avère donc qu'il n'y avait pas de VPC par défaut dans la région dans laquelle le script était exécuté, et c'est la raison pour laquelle mon cluster EMR ne s'est pas stabilisé.

Lorsque j'ai essayé de l'exécuter dans une autre région, cela a fonctionné, mais parce que cette région avait une VPC par défaut.