Данные SQLite, python, unicode и не utf

я начал с попытки сохранить строки в sqlite с помощью python, и получил сообщение:

sqlite3.ProgrammingError: вы должны не используйте 8-битные bytestrings, если вы используйте text_factory, который может интерпретировать 8-битные bytestrings (например text_factory = ул.) Настоятельно рекомендуется вместо этого вы просто переключаете свой применение к строкам Юникода.

Ок, я переключился на строки Юникода. Затем я начал получать сообщение:

sqlite3.OperationalError: не мог декодировать в UTF-8 столбец 'tag_artist' с текстом 'Sigur Rós'

при попытке получить данные из БД. Больше исследований, и я начал кодировать его в utf8, но затем "Sigur Rós" начинает выглядеть как "Sigur RÃ3s"

Примечание: моя консоль была настроена на отображение в 'latin_1', как указал @John Machin.

что это дает? После прочтения этой, описывая точно такую же ситуацию, в которой я нахожусь, кажется, что совет состоит в том, чтобы игнорировать другие советы и использовать 8-битные bytestrings в конце концов.

Я не знал много о unicode и utf, прежде чем я начал этот процесс. Я узнал довольно много за последние пару часов, но я все еще не знаю, есть ли способ правильно преобразовать '-' из латинского-1 в utf-8 и не калечить его. Если нет, то почему sqlite "настоятельно рекомендует" я переключаю свое приложение на unicode струны?

Я собираюсь обновить этот вопрос с резюме и некоторым примером кода всего, что я узнал за последние 24 часа, чтобы кто-то в моей обуви мог иметь легкое(er) руководство. Если информация, которую я публикую, неверна или вводит в заблуждение каким-либо образом, Пожалуйста, скажите мне, и я обновлю, или один из вас, старших ребят, может обновить.

резюме ответов

позвольте мне сначала сформулировать цель, как я ее понимаю. Цель обработка различных кодировок, если вы пытаетесь конвертировать между ними, заключается в том, чтобы понять, что такое исходная кодировка, а затем преобразовать ее в unicode, используя эту исходную кодировку, а затем преобразовать ее в нужную кодировку. Unicode-это база, а кодировки-это отображения подмножеств этой базы. utf_8 имеет место для каждого символа в unicode, но поскольку они не находятся в том же месте, что, например, latin_1, строка, закодированная в utf_8 и отправленная на консоль latin_1, не будет выглядеть так, как вы ожидаете. В python процесс перехода в unicode и в другую кодировку выглядит так:

str.decode('source_encoding').encode('desired_encoding')

или если str уже находится в unicode

str.encode('desired_encoding')

для sqlite я на самом деле не хотел кодировать его снова, я хотел декодировать его и оставить его в формате unicode. Вот четыре вещи, которые вам, возможно, нужно знать, когда вы пытаетесь работать с unicode и кодировками в python.

1. кодировка строки, с которой вы хотите работать, и кодировка, с которой вы хотите работать давай же.
2. кодировка системы.
3. кодировка консоли.
4. кодировка исходного файла

разработка:

(1) Когда вы читаете строку из источника, она должна иметь некоторую кодировку, например latin_1 или utf_8. В моем случае я получаю строки из имен файлов, поэтому, к сожалению, я могу получить любую кодировку. Windows XP использует UCS-2 (Система Unicode) в качестве собственного строкового типа, что похоже на обман мне. К счастью для меня, символы в большинстве имен файлов не будут состоять из более чем одного типа кодировки источника, и я думаю, что все мои были либо полностью latin_1, полностью utf_8, либо просто ascii (который является подмножеством обоих из них). Поэтому я просто прочитал их и расшифровал, как будто они все еще были в latin_1 или utf_8. Возможно, однако, что вы могли бы иметь latin_1 и utf_8 и любые другие символы, смешанные вместе в имени файла в Windows. Иногда эти персонажи может отображаться как коробки, в других случаях они просто выглядят искаженными, а в других случаях они выглядят правильно (акцентированные символы и многое другое). Двигаться дальше.

(2) Python имеет системную кодировку по умолчанию, которая устанавливается при запуске python и не может быть изменена во время выполнения. Смотрите здесь для сведения. Грязное резюме ... Ну вот файл, который я добавил:

# sitecustomize.py  
# this file can be anywhere in your Python path,  
# but it usually goes in ${pythondir}/lib/site-packages/  
import sys  
sys.setdefaultencoding('utf_8')  

эта системная кодировка является той, которая используется при использовании функции unicode ("str") без каких-либо других параметры кодирования. Чтобы сказать, что по-другому, python пытается декодировать "str" в unicode на основе системной кодировки по умолчанию.

(3) Если вы используете IDLE или python командной строки, Я думаю, что ваша консоль будет отображаться в соответствии с системной кодировкой по умолчанию. По какой-то причине я использую pydev с eclipse, поэтому мне пришлось войти в настройки моего проекта, отредактировать свойства конфигурации запуска моего тестового сценария, перейти на вкладку Common и изменить консоль с latin-1 на utf-8, поэтому то, что я мог визуально подтвердить, что я делал, работало.

(4) Если вы хотите иметь некоторые тестовые строки, например

test_str = "ó"

в исходном коде, то вам придется указать Python, какую кодировку вы используете в этом файле. (FYI: когда я ошибся в кодировке, мне пришлось ctrl-Z, потому что мой файл стал нечитаемым.) Это легко сделать, поставив такую строку в верхней части файла исходного кода:

# -*- coding: utf_8 -*-

если у вас нет этой информация, python пытается разобрать ваш код как ascii по умолчанию, и так:

SyntaxError: Non-ASCII character 'xf3' in file _redacted_ on line 81, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

как только ваша программа работает правильно, или, если вы не используете консоль python или любую другую консоль, чтобы посмотреть на вывод, то вы, вероятно, действительно будете заботиться только о #1 в списке. Системное значение по умолчанию и консольное кодирование не так важны, если вам не нужно смотреть на вывод и / или вы используете встроенную функцию unicode () (без каких-либо параметров кодирования) вместо строка.функция декодирования (). Я написал демонстрационную функцию, которую я вставлю в нижнюю часть этого гигантского беспорядка, который, я надеюсь, правильно демонстрирует элементы в моем списке. Вот некоторые из выходных данных, когда я запускаю символ ' ó ' через демонстрационную функцию, показывая, как различные методы реагируют на символ в качестве входных данных. Моя системная кодировка и консольный вывод имеют значение utf_8 для этого запуска:

'�' = original char <type 'str'> repr(char)='xf3'
'?' = unicode(char) ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data
'ó' = char.decode('latin_1') <type 'unicode'> repr(char.decode('latin_1'))=u'xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

теперь я изменю кодировку системы и консоли на latin_1, и я получаю этот вывод для тот же вход:

'ó' = original char <type 'str'> repr(char)='xf3'
'ó' = unicode(char) <type 'unicode'> repr(unicode(char))=u'xf3'
'ó' = char.decode('latin_1') <type 'unicode'> repr(char.decode('latin_1'))=u'xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

обратите внимание, что "оригинальный" символ отображается правильно и встроенная функция unicode() работает сейчас.

теперь я изменяю вывод консоли обратно на utf_8.

'�' = original char <type 'str'> repr(char)='xf3'
'�' = unicode(char) <type 'unicode'> repr(unicode(char))=u'xf3'
'�' = char.decode('latin_1') <type 'unicode'> repr(char.decode('latin_1'))=u'xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

здесь все работает так же, как и в прошлый раз, но консоль не может правильно отображать вывод. Так далее. Функция ниже также отображает дополнительную информацию, что это и, надеюсь, поможет кому-то выяснить, где разрыв в их понимании. Я знайте, что вся эта информация находится в других местах и более тщательно рассматривается там, но я надеюсь, что это будет хорошей отправной точкой для кого-то, кто пытается получить кодирование с помощью python и/или sqlite. Идеи отличные, но иногда исходный код может сэкономить вам день или два, пытаясь выяснить, какие функции делают то, что.

отказ от ответственности: я не эксперт по кодированию, я собрал это вместе, чтобы помочь моему собственному пониманию. Я продолжал строить на нем, когда я, вероятно, должен был начать передавать функции как аргументы, чтобы избежать так много избыточного кода, поэтому, если я могу, я сделаю его более кратким. Кроме того, utf_8 и latin_1 ни в коем случае не являются единственными схемами кодирования, они просто два я играл вокруг, потому что я думаю, что они обрабатывают все, что мне нужно. Добавьте свои собственные схемы кодирования в демонстрационную функцию и проверьте свой собственный вход.

еще одна вещь: есть видимо сумасшедшие разработчики приложений что делает жизнь трудной в Windows.

#!/usr/bin/env python
# -*- coding: utf_8 -*-

import os
import sys

def encodingDemo(str):
    validStrings = ()
    try:        
        print "str =",str,"{0} repr(str) = {1}".format(type(str), repr(str))
        validStrings += ((str,""),)
    except UnicodeEncodeError as ude:
        print "Couldn't print the str itself because the console is set to an encoding that doesn't understand some character in the string.  See error:nt",
        print ude
    try:
        x = unicode(str)
        print "unicode(str) = ",x
        validStrings+= ((x, " decoded into unicode by the default system encoding"),)
    except UnicodeDecodeError as ude:
        print "ERROR.  unicode(str) couldn't decode the string because the system encoding is set to an encoding that doesn't understand some character in the string."
        print "tThe system encoding is set to {0}.  See error:nt".format(sys.getdefaultencoding()),  
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the unicode(str) because the console is set to an encoding that doesn't understand some character in the string.  See error:nt",
        print uee
    try:
        x = str.decode('latin_1')
        print "str.decode('latin_1') =",x
        validStrings+= ((x, " decoded with latin_1 into unicode"),)
        try:        
            print "str.decode('latin_1').encode('utf_8') =",str.decode('latin_1').encode('utf_8')
            validStrings+= ((x, " decoded with latin_1 into unicode and encoded into utf_8"),)
        except UnicodeDecodeError as ude:
            print "The string was decoded into unicode using the latin_1 encoding, but couldn't be encoded into utf_8.  See error:nt",
            print ude
    except UnicodeDecodeError as ude:
        print "Something didn't work, probably because the string wasn't latin_1 encoded.  See error:nt",
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the str.decode('latin_1') because the console is set to an encoding that doesn't understand some character in the string.  See error:nt",
        print uee
    try:
        x = str.decode('utf_8')
        print "str.decode('utf_8') =",x
        validStrings+= ((x, " decoded with utf_8 into unicode"),)
        try:        
            print "str.decode('utf_8').encode('latin_1') =",str.decode('utf_8').encode('latin_1')
        except UnicodeDecodeError as ude:
            print "str.decode('utf_8').encode('latin_1') didn't work.  The string was decoded into unicode using the utf_8 encoding, but couldn't be encoded into latin_1.  See error:nt",
            validStrings+= ((x, " decoded with utf_8 into unicode and encoded into latin_1"),)
            print ude
    except UnicodeDecodeError as ude:
        print "str.decode('utf_8') didn't work, probably because the string wasn't utf_8 encoded.  See error:nt",
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the str.decode('utf_8') because the console is set to an encoding that doesn't understand some character in the string.  See error:nt",uee

    print
    print "Printing information about each character in the original string."
    for char in str:
        try:
            print "t'" + char + "' = original char {0} repr(char)={1}".format(type(char), repr(char))
        except UnicodeDecodeError as ude:
            print "t'?' = original char  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(char), repr(char), ude)
        except UnicodeEncodeError as uee:
            print "t'?' = original char  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(char), repr(char), uee)
            print uee    

        try:
            x = unicode(char)        
            print "t'" + x + "' = unicode(char) {1} repr(unicode(char))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "t'?' = unicode(char) ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "t'?' = unicode(char)  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        try:
            x = char.decode('latin_1')
            print "t'" + x + "' = char.decode('latin_1') {1} repr(char.decode('latin_1'))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "t'?' = char.decode('latin_1')  ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "t'?' = char.decode('latin_1')  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        try:
            x = char.decode('utf_8')
            print "t'" + x + "' = char.decode('utf_8') {1} repr(char.decode('utf_8'))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "t'?' = char.decode('utf_8')  ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "t'?' = char.decode('utf_8')  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        print

x = 'ó'
encodingDemo(x)

много спасибо за ответы ниже и особенно @John Machin за столь подробный ответ.