UnicodeDecodeError, недопустимый байт продолжения

почему ниже пункт, не? и почему это удается с кодеком" latin-1"?

o = "a test of xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

результаты:

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:Python27libencodingsutf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
5 154
python unicode decode

5 ответов:

в двоичном формате 0xE9 выглядит как 1110 1001. Если вы читали о UTF-8 в Википедии, вы увидите, что за таким байтом должны следовать два вида 10xx xxxx. Так, например:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

но это только механическая причина исключения. В этом случае у вас есть строка, которая почти наверняка закодирована на латинском языке 1. Вы можете видеть, как UTF-8 и латинский 1 выглядят по-разному:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(обратите внимание, я использую сочетание Python 2 и 3 представления здесь. Этот ввод допустим в любой версии Python, но ваш интерпретатор Python вряд ли будет показывать как unicode, так и байтовые строки таким образом.)

177

У меня была та же ошибка, когда я пытался открыть csv-файл методом pandas read_csv.

решение было изменить кодировку на 'latin-1':

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')
113

это недопустимый UTF-8. Этот символ является E-острым символом в ISO-Latin1, поэтому он успешно работает с этим набором кодов.

Если вы не знаете кодовый набор, в котором вы получаете строки, у вас небольшие проблемы. Было бы лучше, если бы для вашего протокола/приложения был выбран один кодовый набор (надеюсь, UTF-8), а затем вы просто отвергли бы те, которые не декодировали.

Если вы не можете этого сделать, вам понадобится эвристика.

48

потому что UTF-8 является многобайтовым и нет символа, соответствующего вашей комбинации \xe9 плюс следующее пространство.

почему он должен преуспеть в и utf-8 и латинский-1?

вот как это же предложение должно быть в utf-8:

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'
35

Если эта ошибка возникает при работе с только что открытым файлом, проверьте, открыли ли вы его в 'rb' режим

1