2010-04-10 3 views
0

Tout d'abord, je travaille sur une machine Windows XP 64 avec la RAM 4gb et 2,29 ghz x4vitesse de la mémoire et cpu Comprendre

J'indexation 220.000 lignes de texte qui sont plus ou moins la même longueur. Ceux-ci sont divisés en 15 fichiers de taille égale. Le fichier 1/15 prend 1 minute pour indexer. Comme le script indexe plus de fichiers, il semble prendre beaucoup plus de temps avec le fichier 15/15 prenant 40 minutes. Je comprends que plus je mets en mémoire, plus le script est rapide. Le dictionnaire est indexé dans un hachage, donc les opérations d'extraction doivent être O (1). Je ne suis pas sûr où le script serait suspendu au CPU.

J'ai le script here.

+3

Quelle est votre question? – Victor

Répondre

1

Vous pouvez essayer de surveiller votre appareil pour voir si vous manquez de mémoire. Si c'est le cas, vous pouvez rechercher des fuites de mémoire dans votre code.

+0

Je suis d'accord. Si votre machine manque de mémoire et que vous passez à l'échange, il y a de fortes chances que votre script fasse des choses comme prendre 40 minutes par fichier. – mattbasta

Questions connexes