Comment puis-je analyser des fragments XML incomplets avec XML :: Twig de Perl?

Question

J'essaie d'extraire des données à partir de fichiers journaux au format XML. Comme ils sont énormes, j'utilise XML::Twig pour extraire les données pertinentes d'un tampon à la place du fichier entier

Comme ce sont des données concaténées de STDIN, le XML est loin d'être bien formé. Si souvent, l'analyseur s'arrête avec une erreur. Comment puis-je obtenir l'analyseur XML pour ignorer les erreurs et extraire uniquement les tags qui m'intéressent? Dois-je revenir à l'analyse syntaxique des expressions régulières (start-tag-end-tag)?

Answer 1

J'ai fini avec un solution double où j'ai écrit une simple routine d'analyseur qui pouvait extraire des éléments multilignes <message>, et canalisé ces fragments bien formés vers une autre routine où j'ai utilisé des bibliothèques Perl XML pour extraire des données.

Answer 2

Je s'accumuler en fait juste les données entre <message></message> balises et analyser cette chaîne, en supposant que le contenu de chaque message est petit:

#!/usr/bin/perl 

use strict; use warnings; 

use XML::Simple; 
use Data::Dumper; 

my $in_message; 
my $message; 

LOGENTRY: 
while (my $line = <DATA>) { 
    while ($line =~ /^<message/ .. $line =~ m{</message>$}) { 
     $message .= $line; 
     next LOGENTRY; 
    } 
    if ($message) { 
     process_message($message); 
     $message = ''; 
    } 
} 

sub process_message { 
    my ($message) = @_; 

    my $xml = XMLin(
     $message, 
     ForceArray => 1, 
    ); 
    print Dumper $xml; 
} 

__DATA__ 
ldksj 
lskdfj 
lksd 

sdfk 

<message sender="1">Hi</message> 

sdk 
dkj 

<message sender="2">Hi yourself!</message> 

sd 

Sortie:

$VAR1 = { 
      'sender' => '1', 
      'content' => 'Hi' 
     }; 
$VAR1 = { 
      'sender' => '2', 
      'content' => 'Hi yourself!' 
     };