Crawlers Web et applications hébergées par Google App Engine

Question

Est-il impossible d'exécuter un robot d'exploration Web sur GAE avec mon application, étant donné que j'utilise la version de démarrage gratuite?

Answer 1

Bien que Google n'ait pas exposé l'API des tâches de planification, de file d'attente et d'arrière-plan, vous pouvez effectuer tout traitement uniquement en tant que réponse à une requête HTTP externe. Vous avez besoin d'un service de pulsation qui traitera un élément de la file d'attente du robot à la fois (pas pour atteindre les limites de GAE). Pour effectuer l'analyse à partir de GAE, vous devez diviser votre application en file d'attente (qui stocke les données de file d'attente dans Datastore), processeur de files d'attente qui réagira aux pulsations HTTP externes et à votre logique d'analyse réelle.

Vous devez manuellement surveiller l'utilisation de votre quota et démarrer le signal de présence lorsque vous disposez d'un quota de réserve, et arrêter s'il est épuisé. Lorsque Google présente les API que j'ai mentionnées au début, vous devez réécrire les parties implémentées plus efficacement via l'API Google. MISE À JOUR: Google a lancé l'API Task Queue il y a déjà quelques temps. Voir task queue docs for python et java.

Answer 2

Je suppose que vous pouvez (à savoir, il est impossible de ne pas) l'exécuter, mais il sera lent et vous tomberez dans limits assez rapidement. Comme les quotas de CPU vont diminuer à la fin du mois de mai, je vous déconseille de le faire.

Answer 3

Le code App Engine s'exécute uniquement en réponse à des requêtes HTTP, vous ne pouvez donc pas exécuter un moteur de balayage persistant en arrière-plan. Avec la prochaine publication des tâches planifiées, vous pouvez écrire un robot qui utilise cette fonctionnalité, mais ce serait loin d'être idéal.

Answer 4

C'est possible. Mais ce n'est pas vraiment une application pour appengine comme l'a écrit Arachnid. Si vous parvenez à le faire fonctionner, je doute que vous resterez dans les qotas pour les comptes gratuits.