Logstash analyse le fichier CSV multiligne

Question

J'ai un fichier CSV avec des champs qui contiennent "\ n". Le champ est entre guillemets, donc il s'affiche correctement sur Excel ou en utilisant des pandas en python. Cependant, l'utilisation du filtre CSV dans logstash ne fonctionne pas correctement et donne une erreur d'analyse CSV ou des champs incorrects. Quelqu'un qui a de l'expérience avec cela avant?

J'ai aussi vu ce numéro sur github: https://github.com/logstash-plugins/logstash-filter-csv/issues/34 mais c'est un an.

Answer 1

avez-vous essayé le codec multiline?

Vous devez ajouter quelque chose comme ça dans votre plugin d'entrée:

codec => multiline { 
     pattern => "^[0-9]" 
     negate => "true" 
     what => "previous" 
    } 

il dit logstash que chaque ligne ne commençant pas par un nombre doit être confondu avec la ligne précédente

voir Loading csv in ElasticSearch using logstash