requête MongoDB prend beaucoup de temps

Question

J'ai une collection de vecteurs La taille de la collection

print vectors.count() 

est

Quand j'itérer les champs

start = time.time() 
for v in vectors.find({},{'vector' : 1, '_id' : 0}): 
    pass 
print "total time:" , end-start 

Temps total: 5,05100011826

mais quand je cours avec expliquer() Je vois que la requête prend beaucoup moins de temps.

print vectors.find({},{'vector' : 1, '_id' : 0}).explain() 

{u'nYields ': 0, u'allPlans': [{u'cursor ': u'BasicCursor', u'indexBounds ': {}}], u'nChunkSkips' : 0, u 'millis': 23, un ': 102020, un' curseur ': u'BasicCursor', un 'index': {}, un 'objet numérisé': 102020, un 'clé' ': Faux , u'indexOnly ': Faux, u'nscanned': 102020}

Pourquoi une telle différence de temps énorme? Y a-t-il un moyen d'accélérer cela? J'ai chargé tous les vecteurs dans un champ de texte de base de données sql et la même requête était inférieure à une seconde. Merci

Answer 1

Vous souhaiterez peut-être jouer avec batch_size pour améliorer la vitesse et réduire le nombre de sauts de réseau lors de l'itération des résultats.

start = time.time() 
for v in vectors.find({},{'vector' : 1, '_id' : 0}).batch_size(1000): 
    pass 
print "total time:" , end-start 

Answer 2

Je pense que le second vous montre simplement la vitesse qu'il faut pour MongoDB pour exécuter réellement « trouver » alors que l'ancien implique également la récupération chaque enregistrement unique à la console, et de les traiter.

Answer 3

Vous pouvez fournir un index sur le champ que vous souhaitez interroger, dans votre cas, il est "vector" i.e.:

vectors.createIndex({"vector":1},{sparse:true}) 

vous pouvez vérifier le temps de requête.