Jobsed up ids in mongodb

Question

Nous avons environ 20 millions d'enregistrements dans notre mongodb. Dans ma collection appelée «posts», il y a un champ appelé «id» qui était censé être unique mais maintenant il a tout foiré. Nous voulons juste que ce soit unique et il y a beaucoup de doublons maintenant. Nous voulions juste faire quelque chose comme itérer sur chaque reocrd et lui attribuer un identifiant unique dans une boucle de 1 à 20 millions.

Quelle serait la façon la plus simple de le faire?

Answer 1

Vous pouvez utiliser un script simple comme ceci:

db.posts.dropIndex("*id index name here*"); // Drop Unique index 

counter = 0; 

page = 1; 
slice = 1000; 

total = db.posts.count(); 
conditions = {}; 

while (counter < total) { 

    cursor = db.posts.find(conditions, {_id: true}).sort({_id: 1}).limit(slice); 

    while (cursor.hasNext()) { 
     row = cursor.next(); 
     db.posts.update({_id: row._id}, {$set: {id: ++counter}}); 
    } 

    conditions['_id'] = {$gt: row._id}; 
    print("Processed " + counter + " rows"); 
} 

print('Adding id index'); 
db.posts.ensureIndex({id: 1}, {unique: true, background: false}); 

print("done");     

sauver à assignids.js et courir comme

$ mongo dbname assignids.js 

le tout externe sélectionne 1000 lignes comme un temps, et prévient les délais d'attente du curseur; l'intérieur assigne à chaque rangée un nouvel identifiant incrémental.

Answer 2

Il n'y a pas beaucoup d'options ici, vraiment.

1. Choisissez votre langue et le pilote de votre choix.

2. Récupère N documents.

3. Attribuez-leur des identifiants uniques (plusieurs options ici: 1) copy _id; 2) assigner un nouvel ObjectID; 3) affecter un entier simple)

4. Enregistrez ces documents.

5. Récupère les N prochains documents. Passez à l'étape 3.

Pour récupérer les documents suivants N, vous devez noter le dernier _id du document traité et faire:

db.collection.find({_id: {$gt: last_processed_id}}).sort({_id: 1}).limit(N); 

Est-ce pas SKIP ici. Ce sera trop lent. Et, bien sûr, vous pouvez toujours tronquer la collection, créer un index unique sur id et le remplir à nouveau.