ruby ​​1.9: séquence d'octets invalide dans UTF-8

Question

J'écris un moteur de balayage dans Ruby (1.9) qui consomme beaucoup de HTML à partir de beaucoup de sites aléatoires.
En essayant d'extraire des liens, j'ai décidé d'utiliser .scan(/href="(.*?)"/i) au lieu de nokogiri/hpricot (accélération majeure). Le problème est que je reçois maintenant beaucoup d'erreurs "invalid byte sequence in UTF-8". D'après ce que j'ai compris, la bibliothèque net/http n'a pas d'options spécifiques d'encodage et les éléments qui entrent dans la base ne sont pas correctement étiquetés.
Quelle serait la meilleure façon de travailler avec ces données entrantes? J'ai essayé .encode le remplacer et les options invalides ensemble, mais sans succès jusqu'à présent ...

Answer 1

Avant d'utiliser scan, assurez-vous que l'en-tête de page demandée est Content-Typetext/html, car il peut y avoir des liens vers des choses comme des images qui sont pas encodé en UTF-8. La page pourrait également être non-html si vous avez ramassé un href dans quelque chose comme un élément <link>. Comment vérifier cela varie sur quelle bibliothèque HTTP vous utilisez. Ensuite, assurez-vous que le résultat est seulement ascii avec String#ascii_only? (pas UTF-8 parce que le HTML est seulement supposé utiliser ascii, les entités peuvent être utilisées autrement). Si ces deux tests réussissent, vous pouvez utiliser scan en toute sécurité.

Answer 2

Je vous recommande d'utiliser un analyseur HTML. Trouve juste le plus rapide.

L'analyse HTML n'est pas aussi simple que cela puisse paraître.

Les navigateurs analysent les séquences UTF-8 invalides, dans les documents HTML UTF-8, en mettant juste le symbole " ". Ainsi, une fois que la séquence UTF-8 invalide dans le code HTML est analysée, le texte résultant est une chaîne valide.

vous des valeurs d'attribut Même à l'intérieur devez décoder les entités HTML comme ici ampli

est une question qui résume pourquoi vous ne pouvez pas analyser de manière fiable HTML avec une expression régulière: RegEx match open tags except XHTML self-contained tags

Answer 3

J'ai rencontré chaîne, qui avait des mélanges d'anglais, de russe et d'autres alphabets, ce qui a causé une exception. J'ai besoin que le russe et l'anglais, et cela fonctionne actuellement pour moi:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>"" 
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>"" 
t = ec2.convert ec1.convert t 

Answer 4

Ma solution actuelle consiste à exécuter:

my_string.unpack("C*").pack("U*") 

Cela au moins se débarrasser des exceptions qui était mon principal problème

Answer 5

Dans Ruby 1.9.3, il est possible d'utiliser String.encode pour "ignorer" les séquences UTF-8 non valides. Voici un extrait qui fonctionne aussi bien dans 1,8 (iconv) et 1,9 (String#encode):

require 'iconv' unless String.method_defined?(:encode) 
if String.method_defined?(:encode) 
    file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace) 
else 
    ic = Iconv.new('UTF-8', 'UTF-8//IGNORE') 
    file_contents = ic.iconv(file_contents) 
end 

ou si vous avez entrée vraiment gênants, vous pouvez faire une double conversion UTF-8 en UTF-16 et retour à UTF-8:

require 'iconv' unless String.method_defined?(:encode) 
if String.method_defined?(:encode) 
    file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '') 
    file_contents.encode!('UTF-8', 'UTF-16') 
else 
    ic = Iconv.new('UTF-8', 'UTF-8//IGNORE') 
    file_contents = ic.iconv(file_contents) 
end 

Answer 6

Alors que la solution de Nakilon fonctionne, au moins jusqu'à ce qu'ils aient passé l'erreur, dans mon cas, j'ai eu cette étrange caractère f-ed up provenant de Microsoft Excel converti au format CSV qui enregistrait en ruby comme un (obtenir ceci) K cyrillique qui dans ruby ​​était un K. en gras Pour réparer cela j'ai utilisé 'iso-8859-1' à savoir.CSV.parse(f, :encoding => "iso-8859-1"), qui a tourné mon Freaky Deaky cyrillique K de dans beaucoup plus facile à gérer /\xCA/, que je pourrais alors enlever avec string.gsub!(/\xCA/, '')

Answer 7

Cela semble fonctionner:

def sanitize_utf8(string) 
    return nil if string.nil? 
    return string if string.valid_encoding? 
    string.chars.select { |c| c.valid_encoding? }.join 
end 

Answer 8

La réponse acceptée ni l'autre travail de réponse pour moi. J'ai trouvé this post qui a suggéré

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '') 

Cela a résolu le problème pour moi.

Answer 9

Si vous ne le faites pas « soins » sur les données que vous pouvez juste faire quelque chose comme:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Je viens d'utiliser valid_encoding? pour obtenir passé il. Le mien est un champ de recherche, et donc je trouvais la même bizarrerie encore et encore alors j'ai utilisé quelque chose comme: juste pour que le système ne se casse pas. Puisque je ne contrôle pas l'expérience de l'utilisateur pour autovalidate avant d'envoyer cette information (comme rétroaction automatique pour dire "dummy up!") Je peux juste le prendre, dépouiller et renvoyer des résultats vierges.

Answer 10

Essayez ceci:

def to_utf8(str) 
    str = str.force_encoding('UTF-8') 
    return str if str.valid_encoding? 
    str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '') 
end 

Answer 11

attachment = file.read 

begin 
    # Try it as UTF-8 directly 
    cleaned = attachment.dup.force_encoding('UTF-8') 
    unless cleaned.valid_encoding? 
    # Some of it might be old Windows code page 
    cleaned = attachment.encode('UTF-8', 'Windows-1252') 
    end 
    attachment = cleaned 
rescue EncodingError 
    # Force it to UTF-8, throwing out invalid bits 
    attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil) 
end