indexation de base de données énorme ElasticSearch

Je suis en train d'indexer une base de données avec plus de 1 million de messages en utilisant ElasticSearch le problème que je vais avoir est qu'en raison de la quantité de données que l'indexation se bloqueindexation de base de données énorme ElasticSearch

est-il possible de faire l'indexation dans les parties ou est-ce quelque chose qui ne devrait pas tomber en panne et je fais juste quelque chose de mal?

J'utilise Elastica (https://github.com/ruflin/Elastica)

---- ---- modifier

a oublié d'ajouter quelques erreurs, ce que je reçois et après que rien ne se passe

Caused by: org.apache.lucene.queryparser.classic.ParseException: Encountered "<EOF>" at line 1, column 5. 
Was expecting one of: 
    <BAREOPER> ... 
    "(" ... 
    "*" ... 
    <QUOTED> ... 
    <TERM> ... 
    <PREFIXTERM> ... 
    <WILDTERM> ... 
    <REGEXPTERM> ... 
    "[" ... 
    "{" ... 
    <NUMBER> ... 

    at org.apache.lucene.queryparser.classic.QueryParser.generateParseException(QueryParser.java:708) 
    at org.apache.lucene.queryparser.classic.QueryParser.jj_consume_token(QueryParser.java:590) 
    at org.apache.lucene.queryparser.classic.QueryParser.Clause(QueryParser.java:275) 
    at org.apache.lucene.queryparser.classic.QueryParser.Query(QueryParser.java:181) 
    at org.apache.lucene.queryparser.classic.QueryParser.TopLevelQuery(QueryParser.java:170) 
    at org.apache.lucene.queryparser.classic.QueryParserBase.parse(QueryParserBase.java:121) 
    ... 18 more

Source

2013-08-14 Touchpad

Comment ça plante? Des erreurs? Avez-vous vérifié les journaux? –

S'il vous plaît ajouter des détails sur le "crash". Comme cela, il peut s'agir d'un client qui manque de temps ou qui manque d'espace disque ou de mémoire de l'ordinateur. – snitch182

Ok j'ai trouvé mon erreur, le problème était que je chargeais des données beaucoup à rapide

vient d'ajouter un sleep(1); résolu le problème

Source

2013-08-14 12:48:56 Touchpad

L'erreur ressemble à un délai d'attente de socket non intercepté, ce qui entraîne un appel HTTP incomplet, de toute façon, espérons que vous utilisez l'indexation en vrac! – Damien

Merci pour cette réponse, j'ai reconstruit mon code 3 fois depuis cela et j'ai maintenant un moyen de le faire, oui j'utilise du gros mais merci pour la pointe =) – Touchpad

indexation de base de données énorme ElasticSearch

Répondre

Questions connexes