503 ralentir dans emr avec s3-cp-dist

Question

Je suis tenté de copier un fichier parqueté partitionné à partir de mon "local" hdfs (Amazon carte élastique réduire). et j'ai toujours la même erreur.

quand j'exécutons `` `

s3-dist-cp --src /myparquet --dest s3a://mys3path.com/mydest 

` ``

Je reçois ce

`` `

17/07/10 20:42:57 INFO mapreduce.Job: map 0% reduce 0% 
17/07/10 20:43:06 INFO mapreduce.Job: map 100% reduce 0% 
17/07/10 20:43:17 INFO mapreduce.Job: map 100% reduce 5% 
17/07/10 20:43:18 INFO mapreduce.Job: map 100% reduce 6% 
17/07/10 20:43:19 INFO mapreduce.Job: map 100% reduce 7% 
17/07/10 20:43:20 INFO mapreduce.Job: map 100% reduce 9% 
17/07/10 20:43:21 INFO mapreduce.Job: map 100% reduce 11% 
17/07/10 20:43:22 INFO mapreduce.Job: map 100% reduce 14% 
17/07/10 20:43:23 INFO mapreduce.Job: map 100% reduce 16% 
17/07/10 20:43:24 INFO mapreduce.Job: map 100% reduce 18% 
17/07/10 20:43:25 INFO mapreduce.Job: map 100% reduce 21% 
17/07/10 20:43:26 INFO mapreduce.Job: map 100% reduce 23% 
17/07/10 20:43:27 INFO mapreduce.Job: map 100% reduce 25% 
17/07/10 20:43:28 INFO mapreduce.Job: map 100% reduce 27% 
17/07/10 20:43:29 INFO mapreduce.Job: map 100% reduce 29% 
17/07/10 20:43:30 INFO mapreduce.Job: map 100% reduce 31% 
17/07/10 20:43:31 INFO mapreduce.Job: map 100% reduce 33% 
17/07/10 20:43:32 INFO mapreduce.Job: map 100% reduce 35% 
17/07/10 20:43:33 INFO mapreduce.Job: map 100% reduce 38% 
17/07/10 20:43:34 INFO mapreduce.Job: map 100% reduce 40% 
17/07/10 20:43:35 INFO mapreduce.Job: map 100% reduce 42% 
17/07/10 20:43:36 INFO mapreduce.Job: map 100% reduce 44% 
17/07/10 20:43:37 INFO mapreduce.Job: map 100% reduce 46% 
17/07/10 20:43:38 INFO mapreduce.Job: map 100% reduce 48% 
17/07/10 20:43:39 INFO mapreduce.Job: map 100% reduce 50% 
17/07/10 20:43:40 INFO mapreduce.Job: map 100% reduce 52% 
17/07/10 20:43:41 INFO mapreduce.Job: map 100% reduce 55% 
17/07/10 20:43:42 INFO mapreduce.Job: map 100% reduce 57% 
17/07/10 20:43:43 INFO mapreduce.Job: map 100% reduce 59% 
17/07/10 20:43:44 INFO mapreduce.Job: map 100% reduce 61% 
17/07/10 20:43:45 INFO mapreduce.Job: map 100% reduce 63% 
17/07/10 20:43:46 INFO mapreduce.Job: map 100% reduce 65% 
17/07/10 20:43:47 INFO mapreduce.Job: map 100% reduce 67% 
17/07/10 20:44:22 INFO mapreduce.Job: map 100% reduce 68% 
17/07/10 20:44:55 INFO mapreduce.Job: Task Id : attempt_1499714528879_0003_r_000122_0, Status : FAILED 
Error: com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 52A8AF1F5C2D0A04 

` ``

Mon cluster co nfiguration est `` `

--instance-groups \ 
InstanceGroupType=MASTER,InstanceCount=1,InstanceType=r3.8xlarge,BidPrice=5.0 \ 
InstanceGroupType=CORE,InstanceCount=20,InstanceType=r3.8xlarge,BidPrice=5.0 

` ``

il y a un moyen de le réparer?

Answer 1

AWS limite vos requêtes et le client Apache S3A ne les reconnaît pas et ne réagit pas correctement (en attente et réessayer), au moins le 1er août 2017. [Futurs lecteurs: vérifiez HADOOP-14381 pour voir si c'est maintenant fixé).

Si vous utilisez s3-dist-cp alors c'est la librairie amazon avec laquelle vous travaillez. Essayez de basculer l'URL de destination vers s3://mys3path.com/mydest pour vous assurer que le client S3 de l'Amazonien, et non pas celui d'Apache s3a, est utilisé pour écrire les données.