Meilleure façon de canaliser les données d'un flux d'entrée vers plusieurs flux de sortie

Question

Une connexion PipedInputStream/PipedOutputStream fonctionne très bien lorsque les données doivent uniquement être acheminées vers une sortie, mais si plusieurs flux de sortie sont connectés à un flux d'entrée, les données deviennent fragmenté entre les différentes sorties. Ma solution actuelle implique d'avoir un "lecteur" threadé qui lit les données d'un InputStream et écrit ensuite les données dans les objets OutputStream qui ont été associés au lecteur. Cela semble fonctionner, mais il semble désordonné et inefficace par rapport aux classes natives PipedIO.

Y a-t-il une meilleure façon de gérer cela ou est-ce que l'implémentation avec laquelle je travaille est aussi bonne que je vais le faire?

Answer 1

Si un flux d'entrée doit être lu par plusieurs consommateurs et que le flux d'entrée est éphémère (c'est-à-dire qu'il ne peut pas être rembobiné ou prend en charge plusieurs pointeurs d'entrée), vous devez généralement fournir un tampon. qui se comporte comme s'il conservait chaque élément de données jusqu'à ce que tous les consommateurs l'aient lu.

Vous avez plusieurs choix d'implémentation. Le plus simple est ce que vous suggérez, le surcoût étant principalement l'espace de stockage pour plusieurs copies des données dans les tampons de sortie. Si le stockage est un problème, vous pouvez fournir un seul tampon qui maintient des pointeurs de lecture distincts, un pour chaque consommateur, et conserve en mémoire uniquement les données entre les pointeurs de lecture les plus bas et les plus élevés. Si les consommateurs lisent des données à des vitesses très différentes, vous pouvez toujours vous retrouver avec la plupart ou la totalité des données d'entrée en mémoire, à quel point un certain type de limitation d'entrée, ou schéma intermédiaire de disque, deviendrait nécessaire.

Je suppose que le flux d'entrée unique n'est pas persistant (c'est-à-dire un fichier sur le disque) ... dans ce cas, la solution est triviale.

Answer 2

Ancien code de style, this will give you a good starting place.