2017-06-30 1 views
0

J'ai remarqué que le téléchargement de petits fichiers dans le compartiment S3 est très lent. Pour un fichier d'une taille de 100 Ko, il faut 200 ms pour télécharger. Le seau et notre application sont tous deux en Oregon. L'application est hébergée sur EC2. Je l'ai googlé et trouvé des blogs; par exemple. http://improve.dk/pushing-the-limits-of-amazon-s3-upload-performance/ Il est mentionné que http peut apporter beaucoup de gain de vitesse par rapport à https. Nous utilisons boto 2.45; Je me demande si les deux utilisent https ou http par défaut? Ou y a-t-il des paramètres pour configurer ce comportement dans boto?Est-ce que boto2 utilise http ou https pour télécharger des fichiers sur s3?

Merci d'avance!

+0

Qu'est-ce que l'instance EC2? Si c'est un t2 merdique, vous pourriez devenir plus pauvre (mais je serais surpris si ce pauvre) la performance du réseau. Vous devriez également envisager d'utiliser un point de terminaison S3 VPC (potentiellement) pour un débit élevé vers S3 frmo un sous-réseau privé – Henry

Répondre

0

J'ai essayé boto3, qui a un bon paramètre "use_ssl" dans le constructeur de la connexion. Cependant, il s'est avéré que boto3 est significativement plus lent que boto2 .... il y a déjà beaucoup de messages en ligne sur ce problème.

Enfin, je trouve que, dans boto2, il y a aussi un semblable param "is_secure"

self.s3Conn = S3Connection (config.AWS_ACCESS_KEY_ID, config.AWS_SECRET_KEY, host = config.S3_ENDPOINT, is_secure = False)

La définition de is_secure to False nous permet d'économiser environ 20ms. Pas mal ..........

0

Le boto3 client comprend un paramètre use_ssl:

use_ssl (booléen) - Que ce soit pour utiliser SSL ou non. Par défaut, SSL est utilisé. Notez que tous les services ne prennent pas en charge les connexions non-SSL.

Il semble qu'il est temps pour vous de passer à boto3!