Limite de débit s3 par rapport au point de terminaison du site Web

Question

Je tape sur mon compartiment s3 via son point de terminaison de site Web avec différents chemins/clés. Je suis capable d'obtenir des réponses correctes (200) quand je le frappe à 1000 demandes par seconde sur une période de 5 minutes. J'utilise un outil populaire: https://github.com/tsenart/vegeta donc j'ai confiance dans ces statistiques. Ceci est surprenant étant donné que le documentation dit que tout ce qui est supérieur à 800 par seconde est problématique.

L'utilisation d'un point de terminaison de site Web différent d'un appel API en termes de limitation? Est-ce que 800 est une limite de taux réel ou un seuil brut?

Answer 1

C'est une limite souple, et pas vraiment une limite du point de vue du niveau de godet. Lire attentivement. La documentation avertit d'une augmentation rapide du taux de demande au-delà de 800 demandes par seconde pouvant entraîner des limites de taux temporaires sur votre taux de demande. S3 augmente la capacité disponible en divisant les partitions d'espace de clés et cela prend un certain temps ... mais les buckets augmentent avec la charge de travail. Si vous demandez plusieurs fois le ou les mêmes objets, il est également peu probable que vous imposiez autant de ressources que vous le feriez si vous frappiez 800 objets uniques par seconde et lisiez entre les lignes, c'est le seuil en discussion - le temps de rechercher des clés dans l'index de seau. Les hits récents sont probablement déjà plus accessibles que les points froids de l'index. Le problème que le document met en évidence est que vos clés objet sont séquentiellement lexicales, alors S3 sera incapable de diviser les partitions de manière significative, parce que vous créerez toujours de nouveaux objets sur un seul côté de la scission ou de l'autre et ainsi travaillant contre l'algorithme de mise à l'échelle de S3.