2013-07-31 4 views
1

J'ai une configuration très simple consistant en un elasticsearch 0.90.2 s'exécutant dans un système Ubuntu 13.04 64 bits.Taille d'un index sur le système de fichiers dans elasticsearch

En utilisant _status, c'est l'information d'un de mes index:

"edge":{ 
     "index":{ 
      "primary_size":"63.6kb", 
      "primary_size_in_bytes":65127, 
      "size":"63.6kb", 
      "size_in_bytes":65127 
     }, 
     "translog":{ 
      "operations":0 
     }, 
     "docs":{ 
      "num_docs":43, 
      "max_doc":63, 
      "deleted_docs":20 
     }, 
     "merges":{ 
      "current":0, 
      "current_docs":0, 
      "current_size":"0b", 
      "current_size_in_bytes":0, 
      "total":0, 
      "total_time":"0s", 
      "total_time_in_millis":0, 
      "total_docs":0, 
      "total_size":"0b", 
      "total_size_in_bytes":0 
     }, 
     "refresh":{ 
      "total":20, 
      "total_time":"241ms", 
      "total_time_in_millis":241 
     }, 
     "flush":{ 
      "total":20, 
      "total_time":"47ms", 
      "total_time_in_millis":47 
     }, 
     "shards":{ 
      "0":[ 
       { 
        "routing":{ 
        "state":"STARTED", 
        "primary":true, 
        "node":"bn6ndqXtQKGVDg5eWjo78Q", 
        "relocating_node":null, 
        "shard":0, 
        "index":"edge" 
        }, 
        "state":"STARTED", 
        "index":{ 
        "size":"9.6kb", 
        "size_in_bytes":9887 
        }, 
        "translog":{ 
        "id":1375245630892, 
        "operations":0 
        }, 
        "docs":{ 
        "num_docs":8, 
        "max_doc":12, 
        "deleted_docs":4 
        }, 
        "merges":{ 
        "current":0, 
        "current_docs":0, 
        "current_size":"0b", 
        "current_size_in_bytes":0, 
        "total":0, 
        "total_time":"0s", 
        "total_time_in_millis":0, 
        "total_docs":0, 
        "total_size":"0b", 
        "total_size_in_bytes":0 
        }, 
        "refresh":{ 
        "total":3, 
        "total_time":"65ms", 
        "total_time_in_millis":65 
        }, 
        "flush":{ 
        "total":4, 
        "total_time":"11ms", 
        "total_time_in_millis":11 
        } 
       } 
      ], 
      "1":[ 
       { 
        "routing":{ 
        "state":"STARTED", 
        "primary":true, 
        "node":"bn6ndqXtQKGVDg5eWjo78Q", 
        "relocating_node":null, 
        "shard":1, 
        "index":"edge" 
        }, 
        "state":"STARTED", 
        "index":{ 
        "size":"9kb", 
        "size_in_bytes":9284 
        }, 
        "translog":{ 
        "id":1375245630912, 
        "operations":0 
        }, 
        "docs":{ 
        "num_docs":6, 
        "max_doc":9, 
        "deleted_docs":3 
        }, 
        "merges":{ 
        "current":0, 
        "current_docs":0, 
        "current_size":"0b", 
        "current_size_in_bytes":0, 
        "total":0, 
        "total_time":"0s", 
        "total_time_in_millis":0, 
        "total_docs":0, 
        "total_size":"0b", 
        "total_size_in_bytes":0 
        }, 
        "refresh":{ 
        "total":3, 
        "total_time":"32ms", 
        "total_time_in_millis":32 
        }, 
        "flush":{ 
        "total":4, 
        "total_time":"7ms", 
        "total_time_in_millis":7 
        } 
       } 
      ], 
      "2":[ 
       { 
        "routing":{ 
        "state":"STARTED", 
        "primary":true, 
        "node":"bn6ndqXtQKGVDg5eWjo78Q", 
        "relocating_node":null, 
        "shard":2, 
        "index":"edge" 
        }, 
        "state":"STARTED", 
        "index":{ 
        "size":"19kb", 
        "size_in_bytes":19539 
        }, 
        "translog":{ 
        "id":1375245630990, 
        "operations":0 
        }, 
        "docs":{ 
        "num_docs":11, 
        "max_doc":16, 
        "deleted_docs":5 
        }, 
        "merges":{ 
        "current":0, 
        "current_docs":0, 
        "current_size":"0b", 
        "current_size_in_bytes":0, 
        "total":0, 
        "total_time":"0s", 
        "total_time_in_millis":0, 
        "total_docs":0, 
        "total_size":"0b", 
        "total_size_in_bytes":0 
        }, 
        "refresh":{ 
        "total":6, 
        "total_time":"74ms", 
        "total_time_in_millis":74 
        }, 
        "flush":{ 
        "total":4, 
        "total_time":"12ms", 
        "total_time_in_millis":12 
        } 
       } 
      ], 
      "3":[ 
       { 
        "routing":{ 
        "state":"STARTED", 
        "primary":true, 
        "node":"bn6ndqXtQKGVDg5eWjo78Q", 
        "relocating_node":null, 
        "shard":3, 
        "index":"edge" 
        }, 
        "state":"STARTED", 
        "index":{ 
        "size":"15.6kb", 
        "size_in_bytes":16049 
        }, 
        "translog":{ 
        "id":1375245631046, 
        "operations":0 
        }, 
        "docs":{ 
        "num_docs":9, 
        "max_doc":13, 
        "deleted_docs":4 
        }, 
        "merges":{ 
        "current":0, 
        "current_docs":0, 
        "current_size":"0b", 
        "current_size_in_bytes":0, 
        "total":0, 
        "total_time":"0s", 
        "total_time_in_millis":0, 
        "total_docs":0, 
        "total_size":"0b", 
        "total_size_in_bytes":0 
        }, 
        "refresh":{ 
        "total":5, 
        "total_time":"43ms", 
        "total_time_in_millis":43 
        }, 
        "flush":{ 
        "total":4, 
        "total_time":"10ms", 
        "total_time_in_millis":10 
        } 
       } 
      ], 
      "4":[ 
       { 
        "routing":{ 
        "state":"STARTED", 
        "primary":true, 
        "node":"bn6ndqXtQKGVDg5eWjo78Q", 
        "relocating_node":null, 
        "shard":4, 
        "index":"edge" 
        }, 
        "state":"STARTED", 
        "index":{ 
        "size":"10.1kb", 
        "size_in_bytes":10368 
        }, 
        "translog":{ 
        "id":1375245631130, 
        "operations":0 
        }, 
        "docs":{ 
        "num_docs":9, 
        "max_doc":13, 
        "deleted_docs":4 
        }, 
        "merges":{ 
        "current":0, 
        "current_docs":0, 
        "current_size":"0b", 
        "current_size_in_bytes":0, 
        "total":0, 
        "total_time":"0s", 
        "total_time_in_millis":0, 
        "total_docs":0, 
        "total_size":"0b", 
        "total_size_in_bytes":0 
        }, 
        "refresh":{ 
        "total":3, 
        "total_time":"27ms", 
        "total_time_in_millis":27 
        }, 
        "flush":{ 
        "total":4, 
        "total_time":"7ms", 
        "total_time_in_millis":7 
        } 
       } 
      ] 
     } 
     } 

La taille totale de l'indice devrait être 63.6kb de la réponse.

Cependant, si je vérifie /var/lib/elasticsearch/elasticsearch/nodes/0/indices/edge en utilisant nautilus, la taille est signalée comme 153.1kb.

Pourquoi y a-t-il une si grande différence? Comment elasticsearch calcule-t-il la taille?

+2

Je pense que 63.kb est trop petit pour mesurer un résultat correct. Il semble qu'il y ait une différence de 90 kb entre deux valeurs. Je recommande de le mesurer avec un grand nombre de docs (comme 1000,10000,100000 ...) et de vérifier si la différence est constante (~ 90kb) ou augmente. S'il y a plus de questions que d'autres, il se peut que ce ne soit que quelques paramètres de configuration. – shyos

Répondre

2

Il existe plusieurs fichiers qui ne sont pas des fichiers d'index dans ${data}/nodes/0/indices/edge, tels que l'état du cluster et le journal des transactions. Vous devriez être en mesure d'obtenir le même nombre que celui indiqué par Elasticsearch en exécutant wc -c /var/lib/elasticsearch/elasticsearch/nodes/0/indices/edge/*/index/*.

+0

L'exécution de la commande pour ne compter que les fichiers d'index confirme le '63.6kb' signalé par elasticsearch. Y at-il de toute façon demander à elasticsearch de renvoyer également les tailles de journaux d'états et de transactions? – F21

+0

Je ne pense pas qu'ils sont exposés aujourd'hui. Cependant, sur un index d'une taille plus commune (plus grande), la taille de la translog et de l'état devrait être très petite par rapport à la taille de l'index. – jpountz

+0

Ah. Je pense que je pourrais ouvrir un problème de cela :) Yat-il un guide approximatif quant à combien la taille de la translog et l'état se développe et se rétrécit? – F21

Questions connexes