Goulot d'étranglement localhost avec sockets python

Question

J'envoie une très grande chaîne d'une application à une autre sur localhost en utilisant des sockets en python. Les petites cordes bougent instantanément, mais les grosses cordes semblent prendre un peu plus de temps (je dis large, mais je parle peut-être d'un MB ou deux tout au plus). Assez que je doive m'asseoir et attendre quelques secondes après que je fasse quelque chose dans une application avant qu'elle n'apparaisse dans une autre.

Quels sont les goulots d'étranglement ici? Si je comprends bien, avec les sockets sur 127.0.0.1, tout ce que je fais vraiment est de déplacer des données d'un point dans la mémoire à l'autre. Donc transférer même des centaines de Mo à la fois devrait se déplacer perceptivement instantanément sur mon poste de travail.

Answer 1

Vous déplacez toujours les données à travers la totalité de la pile réseau, sans passer par la carte d'interface réseau elle-même.

Il peut y avoir des raccourcis autour de la pile réseau avec localhost, mais cela dépend probablement de la façon dont la pile est implémentée sur le système que vous utilisez. Peu importe la mémoire partagée ou les tuyaux seront beaucoup plus rapides.

Voici un aperçu de haut niveau: http://docs.python.org/howto/sockets.html

PS: Je ne sais pas si cela fonctionnera pour votre cas, mais le module de multitraitement a un d'une manière efficace des façons de partager des données entre plusieurs processus. PPS: Vous pouvez essayer d'utiliser un socket UDP au lieu d'un socket TCP. Cela pourrait potentiellement vous donner un meilleur débit et ne pas changer radicalement votre méthode IPC.