Comment gérer 4 To de données dans mongoDB

Question

J'essaie d'insérer des données dans mongoDB en utilisant des scripts mais la taille des données devient 4 To. Si je commence à utiliser des fragments, le processus de fusion et de division devient plus lourd. Ma clé de partition est l'horodatage généré à partir de objectID.

S'il vous plaît commenter si je fais les choses correctement.

Answer 1

C'est un inconvénient d'utiliser un monotonically-increasing field (comme un horodatage ou un ObjectId) dans votre clé de partition. Toutes les données seront initialement écrites sur un seul fragment (celui avec le dernier bloc), et l'équilibreur devra travailler très dur pour scinder le morceau et migrer les données vers d'autres fragments.

Il existe deux solutions de contournement disponibles pour vous:

1. Changement d'utiliser hashed sharding au lieu de sharding à distance conventionnelle; Cela permettra de distribuer les inserts à travers les différents fragments plus uniformément.
2. Concevez une clé de partition différente.