Découverte des lignes en double

Question

J'ai un fichier d'éléments CSS, et j'essaie de vérifier les éléments CSS en double, puis je produis les lignes qui montrent les lignes de dupe.

 
    ###Test 
    ###ABC 
    ###test 
    ##.hello 
    ##.ABC 
    ##.test 
    bob.com###Test 
    ~qwerty.com###Test 
    ~more.com##.ABC 

###Test & ##.ABC existe déjà dans la liste, et je voudrais un moyen de sortir les lignes qui sont utilisées dans le fichier, essentiellement vérifier la duplication (sensible à la casse). Donc, en utilisant la liste ci-dessus, je voudrais générer quelque chose comme ça ..

 
    Line 1: ###Test 
    Line 7: bob.com###Test 
    Line 8: ~qwerty.com###Test 

    Line 5: ##.ABC 
    Line 9: ~more.com##.ABC 

Quelque chose dans bash, ou peut-être perl?

Merci :)

Answer 1

Je vous recommande d'utiliser la fonction uniq si vous pouvez installer moreutils:

how-do-i-print-unique-elements-in-perl-array

Answer 2

J'ai été mis au défi par votre problème, donc je vous ai écrit un script. J'espère que tu l'as aimé. :)

#!/usr/bin/perl 

use strict; 
use warnings; 

sub loadf($); 

{ 
    my @file = loadf("style.css"); 
    my @inner = @file; 
    my $l0 = 0; my $l1 = 0; my $l2 = 0; my $dc = 0; my $tc; 
    foreach my $line (@file) { 
     $l1++; 
     $line =~ s/^\s+//; 
     $line =~ s/\s+$//; 
     foreach my $iline (@inner) { 
      $l2++; 
      $iline =~ s/^\s+//; 
      $iline =~ s/\s+$//; 
      next if ($iline eq $line); 
      if ($iline =~ /\b$line\b/) { 
       $dc++; 
       if ($dc > 0) { 
        if ($l0 == 0) { 
         print "Line " . $l1 . ": " . $line . "\n"; 
         $l0++; 
        } 
        print "Line " . $l2 . ": " . $iline . "\n"; 
       } 
      } 
     } 
     print "\n" unless($dc == 0); 
     $dc = 0; $l0 = 0; $l2 = 0; 
    } 
} 

sub loadf($) { 
    my @file = (); 
    open(FILE, $_[0] . "\n") or die("Couldn't Open " . $_[0] . "\n"); 
    @file = <FILE>; 
    close(FILE); 
    return @file; 
} 

__END__ 

Ceci fait exactement ce dont vous avez besoin. Et désolé si c'est un peu brouillon.

Answer 3

Cela semble fonctionner:

sort -t '#' -k 2 inputfile 

groupes Il leur par la partie après les caractères #:

##.ABC 
~more.com##.ABC 
###ABC 
##.hello 
##.test 
###test 
bob.com###Test 
~qwerty.com###Test 
###Test 

Si vous voulez voir seulement les valeurs uniques:

sort -t '#' -k 2 -u inputfile 

Résultat:

##.ABC 
###ABC 
##.hello 
##.test 
###test 
###Test 

Cette jolie doublons de près la sortie par exemple dans la question (il repose sur certains éventuellement des fonctionnalités spécifiques GNU):

cat -n inputfile | 
    sed 's/^ *\([0-9]\)/Line \1:/' | 
    sort -t '#' -k 2 | 
    awk -F '#+' '{if (! seen[$2]) { \ 
     if (count > 1) printf "%s\n", lines; \ 
     count = 0; \ 
     lines = "" \ 
    }; \ 
    seen[$2] = 1; \ 
    lines = lines "\n" $0; ++count} 
    END {if (count > 1) print lines}' 

Résultat:

Line 5: ##.ABC 
Line 9: ~more.com##.ABC 

Line 1: ###Test 
Line 7: bob.com###Test 
Line 8: ~qwerty.com###Test 

Answer 4

Voici une façon de le faire, ce qui est assez facile à étendre à plusieurs fichiers si nécessaire.

Avec ce fichier find_dups.pl:

use warnings; 
use strict; 

my @lines; 
while (<>) {          # read input lines 
    s/^\s+//; s/\s+$//;       # trim whitespace 
    push @lines, {data => $_, line => $.} if $_ # store useful data 
} 

@lines = sort {length $$a{data} <=> length $$b{data}} @lines; # shortest first 

while (@lines) { 
    my ($line, @found) = shift @lines; 
    my $re = qr/\Q$$line{data}\E$/;    # search token 
    @lines = grep {        # extract matches from @lines 
     not $$_{data} =~ $re && push @found, $_ 
    } @lines; 
    if (@found) {        # write the report 
     print "line $$_{line}: $$_{data}\n" for $line, @found; 
     print "\n"; 
    } 
} 

puis perl find_dups.pl input.css impressions:

 
line 5: ##.ABC 
line 9: ~more.com##.ABC 

line 1: ###Test 
line 7: bob.com###Test 
line 8: ~qwerty.com###Test