Je travaille sur la conception & implémentation d'un moteur d'analyse Web (en temps réel) en temps réel. Ceci est similaire à Google Analytics et ChartBeat. Près de 150M demandes/jour sont attendus. Nous avons une disponibilité de 5 à 8 machines avec un processeur 2,5 GHz (8 cœurs) et 16 Go de RAM chacun.Considérations de conception d'application d'analyse en temps réel ou en temps quasi réel
Je suis à la recherche de solutions évolutives horizontales pour cette exigence. Actuellement, j'analyse la combinaison mongo-hadoop à cette fin. D'après ce que j'ai compris jusqu'à présent, il serait difficile de conserver toutes les données à un endroit (une machine) pour analyse. Donc, Hadoop en tant que processeur de données et MongoDB en tant que stockage de données semble être une bonne combinaison pour moi.
Existe-t-il une architecture standard ou (je devrais dire) éprouvée pour ce type d'application? Quelles sont les considérations de conception que je devrais prendre? Est-ce que la combinaison mongo-hadoop fonctionne pour quelqu'un?
Hadoop et en temps réel? Non, je n'ai pas entendu. –