La taille maximale du fichier peut être lue par logstash 2.4.0

Question

J'essaie de lire un fichier et de l'analyser par logstash et d'écrire ma sortie dans un autre fichier;

input_file -> logstash -> output_file 

Mon analyseur fonctionne bien, je l'ai testé sur un exemple de fichier qui est d'environ 1000 lignes d'un fichier txt. Le problème est, une fois que j'ai commencé le vrai test avec un vrai fichier, qui est entre 200 Mo et 1 Go, rien ne se passe. Je n'ai pas de sortie, ni avec stdout ni avec un fichier txt.

La dernière chose que j'ai interrogée est la taille du fichier d'entrée!

Pouvez-vous s'il vous plaît me donner quelques idées sur les possibilités? ou comment puis-je changer la taille de fichier maximale pour mon fichier d'entrée? PS: Je fais mes tests sur Windows.

Editer: Cela fonctionne avec Logstash 5.5.1! mais quel est le problème avec V2.4.0?

thansk beaucoup

Answer 1

Logstash est un outil de résidus miniers, il travaille essentiellement en maintenant un syncdb du dernier pointeur de lecture dans un fichier. Donc, il n'a pas été conçu pour analyser de gros fichiers.

Je peux donner quelques pointeurs sur le débogage mais je ne suis pas sûr que ceux-ci fonctionneront - essayez avec l'option -v (verbose) pour vérifier les journaux de débogage si un message d'erreur est présent. Logstash est juste comme JVM essayez d'augmenter sa taille de la mémoire et vérifiez que cela fonctionne. Enfin, je dirais que si la dernière version fonctionne, alors utilisez-la, beaucoup de bogues sont corrigés dans les mises à jour. J'espère que ça aide!