Description: Les données sont dans la base de données SQL Server et nous avons besoin d'analyser ces données avec l'aide des grandes donnéesCombien de nœuds un cluster devrait-il avoir pour analyser 3 To de données? comment doit-on concevoir l'architecture matérielle
toute aide à cet égard serait apprécié
Votre question est très large, donc je vais donner une solution très générique:
, voici ce que je recommande:
Mettre en place un cluster dans le cloud, cela vous permet d'obtenir une capacité énorme pour un temps très court (et donc un coût très faible).
Vous pouvez essentiellement mettre en place un petit nœud maître, et 3 nœuds esclaves avec environ 5 To chacun.
S'il se trouve à mi-chemin que vous manquez un peu d'espace disque, ne prenez pas la peine d'aller pour les plus gros nœuds, mais il suffit d'ajouter un ou quelques noeuds données au cluster.
Si la mise en place d'un cluster dans le nuage n'est pas possible ou souhaitable, vous pouvez l'installer sur votre propre matériel.
Pour cela, il est très important de penser à la façon dont la taille va se développer (et si vous voulez acheter pour la croissance potentielle). Il est également important de réaliser que, au fil du temps, vous aurez peut-être besoin d'opérations plus complexes, ou que vous risquez d'obtenir une duplication de données en raison de la nature de votre analyse.
Si je devais recommander une configuration pour 3 To de données à partir, je pencherais pour quelque chose de plus lourd que ce que je recommande avant. Par exemple, en supposant une croissance légère mais significative: 2 noeuds maîtres et 5 noeuds esclaves de 10 To chacun.
Merci pour la réponse – Pradeep