Comment convertir un fichier texte en minuscules sous UNIX (mais en UTF-8)

Question

Je dois convertir tout le texte en minuscule, mais sans utiliser la commande «tr» traditionnelle, car il ne gère pas correctement les langues UTF-8.

Existe-t-il une bonne façon de faire cela? J'ai besoin d'un filtre UNIX pour pouvoir le traiter dans un tube. Gnu sed devrait être capable de gérer unicode.

Answer 1

Essayez

$ echo 'Some StrAngÉ LeTTeRs 123' | sed -e 's/./\L\0/g' 
some strangé letters 123 

Answer 2

Si vous utilisez ce code Python peut vous aider:

import sys 
import codecs 

utf8input = codecs.getreader("utf-8")(sys.stdin) 
utf8output = codecs.getwriter("utf-8")(sys.stdout) 

utf8output.write(utf8input.read().lower()) 

Sur ma machine Windows (désolé :) Je peux l'utiliser comme filtre:

cat big.txt | python tolowerutf8.py > lower.txt3