3
Il ya quelque chose, j'écris small script en utilisant Text::DeDupe pour supprimer les doublons de billets de blog avant que je doive jeter les yeux sur eux. Après avoir lu le document Syntactic Clustering of the Web sur lequel repose la mise en œuvre, j'aimerais pouvoir trouver des documents qui se chevauchent (par exemple, des extraits de blogues par opposition à du texte intégral, peut-être aussi des citations). Connaissez-vous d'autres implémentations en C, C++ ou Perl que je peux essayer avant d'écrire la mienne?Comment détecter du texte en double avec un peu de fuzzyness
Je pense que vous devrez utiliser des algorithmes de différenciation basés sur les lignes classiques: http://stackoverflow.com/questions/236031/how-to-realize-a-diff-function http://stackoverflow.com/ questions/145607/text-difference-algorithm http://stackoverflow.com/questions/3144/best-diff-algorithm –
Cela pourrait être une approche trop simpliste de la tâche à accomplir car je voudrais supprimer les quasi-doublons comme quelqu'un cite le plus de poste et en ajoutant quelque chose comme "moi aussi" qui est juste du spam. – dpavlin