python appengine fichier UFO8 formulaire-posté

Question

Je suis en train de former-poster un fichier sql qui se compose de nombreux INSERTS, par exemple.

INSERT INTO `TABLE` VALUES ('abcdé', 2759); 

puis-je utiliser re.search pour analyser et extraire les champs à mettre dans mon propre datastore. Le problème est que, bien que le fichier contienne des caractères accentués (voir le e est un é), une fois téléchargé il le perd et soit des erreurs ou stocke une représentation bytestring de celui-ci.

Heres ce que je suis actuellement en utilisant (et je l'ai essayé des charges d'alternatives):

form = cgi.FieldStorage() 
uFile = form['sql'] 
uSql = uFile.file.read() 
lineX = uSql.split("\n") # to get each line 

et ainsi de suite.

Quelqu'un at-il une façon robuste de faire ce travail? souvenez-vous que je suis sur appengine donc l'accès à certaines bibliothèques est restreint/interdit

Answer 1

Vous mentionnez utf8 dans le titre de Q mais plus jamais: que faites-vous (en termes de définition des en-têtes et de vérification) pour vérifier quel encodage est en utilisation? Il devrait y avoir des en-têtes de la forme

Content-Type: text/plain; charset=utf-8 

et la partie est charset= où l'encodage est spécifié. Alors, quelles sont les valeurs lors de l'envoi et de la réception de ceci? Si charset est erroné, vous devrez peut-être manuellement effectuer un certain codage et décodage. Pour nous aider à évaluer ce que l'encodage semble être, en plus des en-têtes, quelle est la valeur ord de cet accented-e? Par exemple, si le codage était réellement iso-8859-1, cette valeur ord serait 233 (en décimal; 0xE9 en hexadécimal).