Texte non-anglais (telugu) imprimé en Python au format lisible

Question

Je suis en train de traiter du texte télougou pour analyser quelques jetons de texte.

>>> sent = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8')  
>>> text = sent 
>>> text = nltk.word_tokenize(text) 
>>> result = nltk.pos_tag(text) 
>>> for val in result: 
...  print list(val)[0], list(val)[1] 
... 
నా JJ 
పేరు NNP 
కరీం NNP 
ఉంది NNP 
. . 
నేను VB 
భారత JJ 
ఆహార NNP 
ప్రేమ NNP 

De cette façon, je peux voir le résultat dans telugu.

Pour le même texte, quand j'ai essayé de cette façon, il donne une chaîne unicode dans le résultat. Comment imprimer un jeton en telugu?

>>> s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8') 
>>> res = s.split(' ') 
>>> res[0] 
u'\u0c28\u0c3e' 
>>> type(res[0]) 
<type 'unicode'> 
>>> res[0].encode('ascii') 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 
>>> res[0].encode('utf-8') 
'\xe0\xb0\xa8\xe0\xb0\xbe' 

Edit:

print res[0] il a donné correctement. Mais quand j'ai exécuté mettre ce code dans le script .py et l'exécuter. Il donne

ubuntu@DELL-PC:~/Documents/codes$ python test.py 
    File "test.py", line 1 
SyntaxError: Non-ASCII character '\xe0' in file test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details 

test.py contient:

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8') 
a = s.split() 
for i in a: 
    print i 

Answer 1

Depuis que je n'ai pas Telugu disponible en réponse la plus facile était ma console pour lancer votre session python dans un navigateur en utilisant Jupyter - de cette façon vous se débarrasser d'un grand nombre de questions autour du caractère terminal de jeu, etc.

alors je pourrais simplement print les résultats:

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8') 
a = s.split() 
for i in a: 
    print(i) 
నా 
పేరు 
కరీం 
ఉంది. 
నేను 
భారత 
ఆహార 
ప్రేమ. 

Notez que lorsque vous mettez ce genre de chose dans un fichier de script que vous devez lancer le fichier avec les lignes magiques:

#!/usr/bin/env python 
#coding:utf-8 

Après avoir déduit que l'OP était en cours d'exécution python2 je l'ai expérimenté et a constaté que - dans un terminal qui prend en charge utf-8 - les éléments suivants donnent des résultats qui semblent être bon lorsqu'il est exécuté à partir d'un fichier de script:

#!/usr/bin/env python 
# coding: utf-8 
from __future__ import print_function 
import nltk 

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ." #.decode('utf-8') 

a = s.split() 
for i in a: 
    print(i) 

text = nltk.word_tokenize(s.decode('utf-8')) 
result = nltk.pos_tag(text) 
for val in result: 
    print (list(val)[0].encode('utf-8'), list(val)[1]) 

$ python Untitled2.py 
నా 
పేరు 
కరీం 
ఉంది. 
నేను 
భారత 
ఆహార 
ప్రేమ. 
నా JJ 
పేరు NNP 
కరీం NNP 
ఉంది NNP 
. . 
నేను VB 
భారత JJ 
ఆహార NNP 
ప్రేమ NNP 
. .