1
Comment construire/concevoir/programmer une file d'attente Terabyte ou Petabyte en mémoire? (Imaginez un service comme Twitter avec un grand nombre d'utilisateurs.)Comment créer une file d'attente Terabyte?
A
Répondre
1
Pourquoi ne pas utiliser le service de mise en file d'attente de Twitter? Ça s'appelle kestrel et c'est open source.
+0
Avez-vous une idée de la taille de la file d'attente que Twitter a à traiter? – user319280
+0
Comme le dit leur fichier readme, Kestrel est évolutif "à l'infini et au-delà". – echo
+0
c'est une bonne référence! – user319280
0
Cela dépendra beaucoup du système de fichiers que vous utilisez et des éléments qui sont stockés dans la file d'attente. Les éléments de la file d'attente devront être adressables d'une manière ou d'une autre. Peut-être en tant que noms de fichiers, ou adresses de bloc de disque, ou ... quelque chose. Vous aurez besoin de stocker les adresses de ces éléments dans la file d'attente. En fonction du nombre d'éléments avec lesquels vous travaillez, vous devrez peut-être même le décomposer encore plus et diviser votre file d'attente en blocs, où des blocs entiers d'éléments sont considérés comme un élément de la file d'attente. sous-file d'attente.
+0
cette méthode sera-t-elle assez rapide pour avoir un bon service? – user319280
+0
bien, tant que vous faites une lecture anticipée adéquate. Vous disposez d'une certaine quantité de mémoire pour travailler, aussi longtemps que vous gardez suffisamment de données en file d'attente dans la mémoire principale pour servir les clients, cela devrait fonctionner correctement. Si vos clients consomment les données plus rapidement que vous ne pouvez les récupérer sur le disque, vous aurez un goulot d'étranglement. Le seul moyen de contourner cela est de faire ce que Robert Davis a suggéré dans un commentaire précédent: l'étaler sur plusieurs serveurs. – echo
Questions connexes
- 1. créer une file d'attente dans JBoss MQ
- 2. Comment créer une fenêtre "Open File ..." dans netbeans PLATFORM?
- 3. Impossible de créer une file d'attente privée avec MSMQ
- 4. créer une file d'attente de processus classique asp
- 5. Comment démarrer automatiquement une file d'attente Azure?
- 6. Comment créer une NSRange statique?
- 7. Comment effacer une file d'attente dans Oracle AQ
- 8. Comment gérer une file d'attente d'imprimantes via une application asp.net?
- 9. Comment puis-je obtenir une file d'attente JMS existante?
- 10. Comment créer une fenêtre contextuelle dans Rebol?
- 11. Comment créer dynamiquement une vue d'étincelle compilée?
- 12. Impossible de créer une file d'attente sur Websphere MQ Explorer V7.0
- 13. File System indexing
- 14. Comment créer une API
- 15. Comment créer une bibliothèque
- 16. Comment créer une jointure?
- 17. Comment effacer la file d'attente d'un MPMusicPlayerController?
- 18. Affectation d'une chaîne à une file d'attente
- 19. Comment analyser XML Schema File
- 20. Comment dois-je utiliser Perl's File :: Temp?
- 21. comment trier une file d'attente en utilisant (juste) une autre file et quelques variables, en moins de O (n^2)?
- 22. comment copier en profondeur une file d'attente en python
- 23. Comment convertir/convertir une liste d'objets en file d'attente d'objets
- 24. Comment utiliser une file d'attente prioritaire en C++?
- 25. Comment fusionner deux files d'attente dans une file d'attente?
- 26. comment faire une file d'attente en php avec MySQL
- 27. Comment supprimer une liaison de file d'attente de RabbitMQ?
- 28. Comment utiliser MsmqIntegrationBinding avec une file d'attente non-transactionnelle?
- 29. script cron pour agir comme une file d'attente OU une file d'attente pour cron?
- 30. MSMQ - une file d'attente peut-elle survivre à une file d'attente? Processus redémarrage/redémarrage du serveur
Veuillez fournir plus d'informations. Parlons-nous la file d'attente, comme dans la structure de données? Qu'est-ce qui sera stocké dans cette file d'attente? – echo
La prononciation correcte est tera, pas terra. – SurvivalMachine
oui exactement mais la taille de la file d'attente est de l'ordre de téraoctets/pétaoctets? La file d'attente – user319280