1

Problème simple, j'ai un seau google qui reçoit du contenu 3 fois par jour d'un fournisseur externe. Je veux aller chercher ce contenu dès qu'il arrive et le pousser sur un seau S3. J'ai pu y parvenir en exécutant mes scripts python comme un travail cron. Mais je dois fournir une haute disponibilité et pareil si je suis cet itinéraire.seau de synchronisation avec seau s3 (style lambda)

Mon idée était de mettre en place aws lambda, donc je n'ai pas à transpirer les limites de l'infrastructure. Des indications sur ce mariage entre gs et lambda. Je ne suis pas un locuteur Node natif donc tous les pointeurs seront vraiment utiles.

+0

Avez-vous un moyen d'informer votre 'Lambda' sur le nouveau contenu dans le seau de google? – kixorz

+0

Nopes .. pas dans mon contrôle .. mais je peux vérifier permet de dire toutes les heures pour obtenir la liste des clés ... comparer avec dynamodb et tirer vers le bas les fichiers mis à jour –

+0

Je recommanderais de pousser la liste de fichiers acquise à 'SNS Topic' et que votre manipulation de fichier 'Lambda' s'abonne à ce sujet. Je vous suggère de publier chaque fichier en tant que nouveau message sur ce 'SNS Topic' afin que vos fichiers soient traités en parallèle. Une fois que votre Lambda reçoit un message, il peut copier le fichier de votre google bucket vers S3. – kixorz

Répondre

1

GCS peut envoyer des notifications d'objet lorsqu'un objet est créé/mis à jour. Vous pouvez capturer les notifications (qui sont des demandes de publication HTTP) par une simple application Web hébergée sur GAE, puis gérer le transfert de fichiers vers S3. Hautement disponible, solution événementielle.

+0

ajout tardif: vous devez être le propriétaire sur le seau gcs pour y parvenir –