Comment vraiment réindexer les données dans elasticsearch

Question

J'ai ajouté de nouveaux mappages (principalement des versions not_analyzed de champs existants) Je dois maintenant comprendre comment réindexer les données existantes. J'ai essayé de suivre le guide sur le site de recherche élastique mais c'est trop confus. J'ai aussi essayé d'utiliser des plugins (elasticsearch-reindex, allegro/elasticsearch-reindex-tool). J'ai regardé ElasticSearch - Reindexing your data with zero downtime qui est une question similaire. J'espérais ne pas avoir à compter sur des outils externes (si possible) et essayer d'utiliser l'API en vrac (comme avec l'insert original)

Je pourrais facilement reconstruire l'index entier car c'est une donnée en lecture seule vraiment mais ça ne marchera pas vraiment à long terme si je devrais ajouter plus de champs etc etc quand je suis en production avec lui. Je me demandais s'il y avait quelqu'un qui connaît une solution facile à comprendre/suivre ou des étapes pour un novice relatif à ES. Je suis sur la version 2 et en utilisant Windows.

Answer 1

Réindexer signifie lire les données, supprimer les données dans elasticsearch et ré-ingérer les données. Il n'y a rien de tel que «changer la cartographie des données existantes en place». Tous les outils de réindexation que vous avez mentionnés ne sont que des wrappers autour de read-> delete-> ingestion.
Vous pouvez toujours ajuster le mappage de nouveaux index et ajouter des champs ultérieurement. Tous les nouveaux champs seront indexés par rapport à ce mapping. Ou utilisez le mappage dynamique si vous ne contrôlez pas les nouveaux champs.
Jetez un oeil à Change default mapping of string to "not analyzed" in Elasticsearch pour voir comment utiliser le mappage dynamique pour obtenir des champs de chaînes not_analyzed.

La réindexation est très coûteuse. Le meilleur moyen est de créer un nouvel index et de laisser tomber l'ancien. Pour atteindre cet objectif sans temps d'arrêt, utilisez l'alias d'index pour tous vos clients. Pensez à un index appelé "data-version1". Dans les étapes:

• créer votre index « données version1 » et lui donner un alias nommé « data »
• uniquement utiliser l'alias « données » dans toutes vos applications clientes
• pour mettre à jour la cartographie: créer un nouvel index (avec le nouveau mapping) appelé "data-version2" et mettez toutes vos données en
• pour passer de la version1 à la version2: supprimez l'alias "data" sur la version1 et créez un alias "data" sur la version2 (ou créer d'abord, puis laisser tomber). le temps entre ces deux étapes vos clients n'auront pas (ou double) de données. mais le délai entre la suppression et la création d'un alias doit être si court que vos clients ne doivent pas le reconnaître.

Il est recommandé de toujours utiliser des alias.

Answer 2

J'ai fait face au même problème. Mais je n'ai trouvé aucune ressource pour mettre à jour le mappage et l'analyseur d'index actuels. Ma suggestion est d'utiliser scroll and scan api et réindexer vos données à un nouvel index avec de nouveaux mappages et de nouveaux champs.

Answer 3

Avec la version 2.3.4, un nouvel index api est disponible, il fera exactement ce qu'il dit. L'utilisation basique est

{ 
    "source": { 
     "index": "currentIndex" 
    }, 
    "dest": { 
     "index": "newIndex" 
    } 
}