AWS Data Pipeline - Définition des valeurs du site Hive lors de la création EMR

Nous mettons à jour notre version Data pipeline de 3.3.2 à 5.8, donc les actions bootstrap sur l'ancienne version de l'AMI ont été modifiées pour être configurées en utilisant configuration et en les spécifiant sous classification/propriété définition.AWS Data Pipeline - Définition des valeurs du site Hive lors de la création EMR

Alors mon JSON ressemble ci-dessous

{ 
      "enableDebugging": "true", 
      "taskInstanceBidPrice": "1", 
      "terminateAfter": "2 Hours", 
      "name": "ExportCluster", 
      "taskInstanceType": "m1.xlarge", 
      "schedule": { 
       "ref": "Default" 
      }, 
      "emrLogUri": "s3://emr-script-logs/", 
      "coreInstanceType": "m1.xlarge", 
      "coreInstanceCount": "1", 
      "taskInstanceCount": "4", 
      "masterInstanceType": "m3.xlarge", 
      "keyPair": "XXXX", 
      "applications": ["hadoop","hive", "tez"], 
      "subnetId": "XXXXX", 
      "logUri": "s3://pipelinedata/XXX", 
      "releaseLabel": "emr-5.8.0", 
      "type": "EmrCluster", 
      "id": "EmrClusterWithNewEMRVersion", 
      "configuration": [ 
       { "ref": "configureEmrHiveSite" } 
      ] 
     }, 
     { 
      "myComment": "This object configures hive-site xml.", 
      "name": "HiveSite Configuration", 
      "type": "HiveSiteConfiguration", 
      "id": "configureEmrHiveSite", 
      "classification": "hive-site", 
      "property": [ 
       {"ref": "hive-exec-compress-output" } 
      ] 
     }, 
     { 
      "myComment": "This object sets a hive-site configuration 
      property value.", 
      "name":"hive-exec-compress-output", 
      "type": "Property", 
      "id": "hive-exec-compress-output", 
      "key": "hive.exec.compress.output", 
      "value": "true" 
     } 
    ], 
    "parameters": []

Avec le fichier JSON au-dessus est chargé en pipeline de données, mais génère une erreur en disant

Object:HiveSite Configuration 
ERROR: 'HiveSiteConfiguration' 
Object:ExportCluster 
ERROR: 'configuration' values must be of type 'null'. Found values of type 'null'

Je ne suis pas sûr de ce que cela signifie vraiment et pourrait vous s'il vous plaît laissez-moi savoir si je précise cela correctement que je pense que je suis selon http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html

Source

2017-08-25 Krish

Étiez-vous capable de passer à la version 5.x? J'ai spécifiquement une question à propos de cette étape, sans changer la configuration par défaut. https://stackoverflow.com/questions/47858108/how-to-upgrade-data-pipeline-definition-from-emr-3-x-to-4-x-5-x – user1322092

Le bloc ci-dessous devrait avoir le nom comme "EMR Configu ration "seulement alors son reconnu correctement par le pipeline de données AWS et le Hive-site.xml est défini en conséquence.

{ 
     "myComment": "This object configures hive-site xml.", 
     "name": "EMR Configuration", 
     "type": "EmrConfiguration", 
     "id": "configureEmrHiveSite", 
     "classification": "hive-site", 
     "property": [ 
      {"ref": "hive-exec-compress-output" } 
     ] 
    },

Source

2017-08-28 15:26:59 Krish

AWS Data Pipeline - Définition des valeurs du site Hive lors de la création EMR

Répondre

Questions connexes