Requêtes HTTP simultanées dans un travail d'arrière-plan (sidekiq)?

2016-01-24 1 views 1 likes

Je veux vérifier 50k flux RSS pour les mises à jour. En ce moment, il faut -looong- temps, donc j'ai commencé à chercher dans les gemmes qui font des requêtes HTTP parallèles comme typhoeus, mais sidekiq et typhoeus don't play well together.Requêtes HTTP simultanées dans un travail d'arrière-plan (sidekiq)?

Quelle est une bonne façon de faire un tas de demandes HTTP simultanées en arrière-plan?

2016-01-24 Ashbury

Répondre

-1

Jetez un coup d'œil à em-http-request - il fonctionne sur le dessus de eventmachine qui est une bibliothèque pour les E/S non bloquantes.

2016-01-24 11:02:43 mkozak

https://github.com/httprb/http prétend être assez rapide mais je ne l'ai pas essayé.

2016-01-27 00:29:27