UnicodeEncodeError: кодек 'ascii' не может кодировать символ u 'xef ' в позиции 0: порядковый номер не в диапазоне (128)

Я хочу разобрать мой XML-документ. Поэтому я сохранил свой XML-документ, как показано ниже

class XMLdocs(db.Expando):  
   id = db.IntegerProperty()    
   name=db.StringProperty()  
   content=db.BlobProperty()

Теперь мой ниже мой код

parser = make_parser()     
curHandler = BasketBallHandler()  
parser.setContentHandler(curHandler)  
for q in XMLdocs.all():  
        parser.parse(StringIO.StringIO(q.content))

Я получаю ниже ошибка

'ascii' codec can't encode character u'xef' in position 0: ordinal not in range(128)
Traceback (most recent call last):  
  File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 517, in __call__
    handler.post(*groups)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/base_handler.py", line 59, in post
    self.handle()   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 168, in handle
    scan_aborted = not self.process_entity(entity, ctx)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 233, in process_entity
    handler(entity)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 71, in process
    parser.parse(StringIO.StringIO(q.content))   
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 107, in parse
    xmlreader.IncrementalParser.parse(self, source)   
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/xmlreader.py", line 123, in parse
    self.feed(buffer)  
  File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 207, in feed
    self._parser.Parse(data, isFinal)   
  File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 136, in characters   
    print ch   
UnicodeEncodeError: 'ascii' codec can't encode character u'xef' in position 0: ordinal not in range(128)
7 70
python google-app-engine xml-parsing

7 ответов:

кажется, вы попали в знак порядка байтов UTF-8 (BOM). Попробуйте использовать эту строку unicode с извлеченной спецификацией:

import codecs

content = unicode(q.content.strip(codecs.BOM_UTF8), 'utf-8')
parser.parse(StringIO.StringIO(content))

Я strip вместо lstrip потому что в вашем случае у вас было несколько случаев спецификации, возможно, из-за объединенного содержимого файла.

29

фактический лучший ответ на эту проблему зависит от вашей среды, в частности, от того, какую кодировку ожидает ваш терминал.

самое быстрое однострочное решение-это кодировать все, что вы печатаете в ASCII, который ваш терминал почти наверняка примет, отбрасывая символы, которые вы не можете распечатать:

print ch #fails
print ch.encode('ascii', 'ignore')

лучшее решение-изменить кодировку вашего терминала на utf-8 и закодировать все как utf-8 перед печатью. Вы должны войти в привычку думайте о своей кодировке Юникода каждый раз, когда вы печатаете или читаете строку.

112

просто ставишь .encode('utf-8') в конце объекта будет делать работу в последних версиях Python.

53

это сработало для меня:

from django.utils.encoding import smart_str
content = smart_str(content)
30

проблема в соответствии с вашим traceback является print оператор в строке 136 из parseXML.py. К сожалению, вы не сочли нужным опубликовать эту часть своего кода, но я собираюсь догадаться, что это просто для отладки. Если вы измените его на:

print repr(ch)

тогда вы должны хотя бы увидеть, что вы пытаетесь напечатать.

7

проблема в том, что вы пытаетесь напечатать символ Юникода на возможно не-Юникод терминал. Вам нужно закодировать его с помощью перед печатью, например,print ch.encode(sys.stdout.encoding, 'replace').

7

простое решение для преодоления этой проблемы-установить кодировку по умолчанию в utf8. Следуйте примеру

import sys

reload(sys)
sys.setdefaultencoding('utf8')
-1