2010-08-11 8 views

Répondre

0

1 million par jour est sûr beaucoup, il est difficile d'imaginer ce qui nécessite d'avoir un tel ressources grand nombre. Tout ce que je peux suggérer est de résoudre cela uniquement au niveau de la synchronisation ftp, en utilisant un outil disponible immédiatement. (Peut-être http://www.ftpsynchronizer.com/?)

À défaut de quoi, créer un répertoire pour regarder un uploader ftp ne serait pas un travail de programmation extrêmement difficile dans la plupart des langages courants qui ont des bibliothèques ftp. L'autre alternative est que si vous pouvez obtenir ces fichiers sur un serveur Internet, vous pouvez utiliser Akamai Http Content Delivery et obtenir Akamai pour tirer les images plutôt que de les pousser continuellement.

+0

+1 bonne idée sur la livraison du site – andy

+2

Quelqu'un pourrait-il fournir un lien vers la documentation pour ce que vous appelez "Akamai Http Content Delivery?" Je ne le trouve pas spécifiquement. Dans mon projet, je dois prendre beaucoup de fichiers d'un serveur SFTP privé et les héberger sur Akamai (via Onstream). Ce serait efficace si je pouvais faire en sorte qu'Akamai fasse les choses pour moi, plutôt que d'avoir le serveur d'application de mon site dynamique tiré de SFTP et de pousser les fichiers vers Akamai. –

8

Au lieu de FTP, utilisez Rsync. Il a moins de frais généraux que FTP et est bien adapté pour synchroniser une grande base de fichiers.

Rsync documentation

Akamai Netstorage soutient Rsync en tant que méthode de transfert. Il peut être nécessaire de l'activer dans le panneau de configuration d'Akamai - celui qui administre vos comptes utilisateur Netstorage peut l'activer.

Rsync est inclus dans toutes les distributions Linux, si vous êtes sur Windows, vous pouvez l'obtenir dans le cadre de cygwin.

+0

Sur quoi Akamai transférez-vous ces fichiers? Ni les téléchargements côté client ni les API NetSession Download Manager ne semblent être un bon moyen de télécharger vos images million plus. – Jiminy

0

Si vous avez un tel nombre de fichiers et que vous voulez télécharger plus rapidement, alors je suggère d'opter pour un produit 'signiant' qui améliore considérablement le temps de téléchargement. C'est un service de téléchargement tiers qui fonctionne très bien avec Akamai, de nombreux clients l'utilisent.

Questions connexes