Quand démarrer MongoDB sharding

Question

Pour le moment, nous exécutons une réplique MongoDB contenant 2 serveurs + 1 arbitre.

Et nous stockons environ 150 Go de données dans les bases de données sur la réplique.

À l'heure actuelle, nous pensons à quand commencer avec sharding. Parce que nous nous demandons s'il y a un point où vous ne pouvez plus commencer à partager.

Il est évident que nous devrons commencer à partitionner avant de manquer d'espace disque, notre processeur est surchargé ou la performance globale diminue en raison de trop peu de RAM. Quelqu'un m'a également dit qu'il y a une limite de taille de données de 256 Go, après quoi vous ne pouvez plus commencer à partager. Aussi, j'ai lu la documentation officielle http://docs.mongodb.org/manual/sharding/ et "MongoDB le guide définitif", je ne pouvais pas le prouver.

D'après votre expérience, y a-t-il une limite où vous devriez avoir commencé avec sharding?

Answer 1

Je commencerais à partitionner lorsque vous avez atteint environ 60-70% d'utilisation des ressources. Cela pourrait être à la fois l'espace disque dur et la RAM. La limite de 256 Go est en effet là, elle est documentée à http://docs.mongodb.org/manual/reference/limits/#Sharding%20Existing%20Collection%20Data%20Size

Answer 2

J'ai trouvé que la limite était basée sur les lectures/écritures; afterall sharding est sur l'augmentation de la capacité, écrit principalement, tandis que les ensembles de réplicas sont plus concernés par les lectures. Cependant, l'utilisation de serveurs séparés (nœuds) pour les plages de données (clé shard) peut également aider les lectures, ce qui a un effet d'accrochage pour les deux. Par exemple, vous ne pouvez utiliser que 40% de la mémoire de votre serveur actuel avec votre jeu de travail actuel, mais en raison de la quantité d'écritures envoyées à ce serveur, vous pourriez voir des problèmes de vitesse dus à IO. À ce moment, vous prendriez en compte le sharding. Donc vraiment je dirais personnellement, et cette question est fortement basée sur l'opinion, que vous devriez partitionner quand vous sentez que vous avez besoin de plus de capacité pour les opérations que ce qui est rentable pour un seul ensemble de réplicas.

Je connais des configurations de répliques uniques qui peuvent prendre ce que, normalement, un cluster entier, mais cela dépend de la taille de votre budget. À mesure qu'un ordinateur grossit, il devient plus cher.