Mozilla nsUniversalDetector (привязка на Perl: Кодировка:Обнаружьте/Encode::Detect:: Detector) доказано в миллион раз.

моя попытка такой эвристики (предполагая, что вы исключили ASCII и UTF-8):

• если 0x7f до 0x9f не появляются вообще, это, вероятно, ISO-8859-1, потому что они очень редко используются управляющие коды.
• если 0x91 через 0x94 появляются в lot, это, вероятно, Windows-1252, потому что это "умные кавычки", безусловно, наиболее вероятные символы в этом диапазоне, которые будут использоваться в английском тексте. Чтобы быть более уверенным, вы можете искать пары.
• в противном случае, это MacRoman, особенно если вы видите много 0xd2 через 0xd5 (вот где типографские кавычки находятся в MacRoman).

Примечание:

для таких файлов, как Java source, где нет такое средство существует внутренне к файл, вы поставите кодировку перед расширение, например SomeClass-utf8.java

не делай этого!!

компилятор Java ожидает, что имена файлов будут совпадать с именами классов, поэтому переименование файлы сделают исходный код не компилируемым. Правильнее было бы угадать кодировку, а затем использовать native2ascii инструмент для преобразования всех символов, отличных от ASCII, в escape-последовательности Unicode.

"Perl, C, Java или Python, и в таком порядке": интересное отношение : -)

"мы хорошо знаем, если что-то, вероятно, UTF-8": На самом деле вероятность того, что файл, содержащий значимый текст, закодированный в какой-то другой кодировке, которая использует байты с высоким разрядом, будет успешно декодироваться как UTF-8, исчезающе мала.

стратегии UTF-8 (на наименее предпочтительном языке):

# 100% Unicode-standard-compliant UTF-8
def utf8_strict(text):
    try:
        text.decode('utf8')
        return True
    except UnicodeDecodeError:
        return False

# looking for almost all UTF-8 with some junk
def utf8_replace(text):
    utext = text.decode('utf8', 'replace')
    dodgy_count = utext.count(u'\uFFFD') 
    return dodgy_count, utext
    # further action depends on how large dodgy_count / float(len(utext)) is

# checking for UTF-8 structure but non-compliant
# e.g. encoded surrogates, not minimal length, more than 4 bytes:
# Can be done with a regex, if you need it

Как только вы решили, что это ни ASCII, ни UTF-8:

Как отмечали другие, у вас действительно есть только символы пунктуации с высоким разрядом, доступные для различают cp1252 и macroman. Я бы предложил обучать модель типа Mozilla на ваших собственных документах, а не на Шекспире или Хансарде или Библии KJV, и учитывать все 256 байт. Я предполагаю, что ваши файлы не имеют разметки (HTML, XML и т. д.) В них-это исказит вероятности чего-то шокирующего.

вы упомянули файлы, которые в основном UTF-8, но не могут декодировать. Вы также должны быть очень подозрительны:

(1) файлы, которые, якобы, закодированы в ISO-8859-1, но содержат "управляющие символы" в диапазоне от 0x80 до 0x9F включительно ... это настолько распространено, что проект стандарта HTML5 говорит декодировать все потоки HTML, объявленные как ISO-8859-1 с помощью cp1252.

(2) файлы, которые декодируют OK как UTF-8, но результирующий Unicode содержит "управляющие символы" в диапазоне от U+0080 до U+009F включительно ... это может произойти в результате перекодирования cp1252 / cp850 (видел, как это происходит!) / etc файлы от "ISO-8859-1" до UTF-8.

Background: у меня есть проект wet-Sunday-afternoon для создания детектора кодировок на основе Python, ориентированного на файлы (вместо веб-ориентированного) и хорошо работающего с 8-битными наборами символов, включая legacy ** n, как cp437 и cp850. Это еще далеко не прайм-тайм. Меня интересуют учебные файлы; ваш ISO-8859-1 / файлы cp1252 / MacRoman также "необременены", как вы ожидаете, что чье-либо кодовое решение будет?

Как вы обнаружили, нет идеального способа решить эту проблему, потому что без неявного знания о том, какую кодировку использует файл, все 8-битные кодировки точно такие же: коллекция байтов. Все байты действительны для всех 8-битных кодировок.

лучшее, на что вы можете надеяться, это какой-то алгоритм, который анализирует байты, и на основе вероятностей использования определенного байта на определенном языке с определенной кодировкой угадает, в какой кодировке файлы использует. Но это должно знать, какой язык использует файл, и становится совершенно бесполезным, когда у вас есть файлы со смешанными кодировками.

с другой стороны, если вы знаете, что текст в файле написан на английском языке, то вы вряд ли заметите какую-либо разницу в какой бы кодировке вы ни решили использовать для этого файла, так как различия между всеми упомянутыми кодировками локализованы в частях кодировок, которые определяют символы, обычно не используемые в английском языке. Вы могут возникнуть некоторые проблемы, когда текст использует специальное форматирование или специальные версии пунктуации (например, CP1252 имеет несколько версий символов кавычек), но для сути текста, вероятно, не будет никаких проблем.

Если вы можете обнаружить все кодировки, кроме macroman, чем было бы логично предположить, что те, которые не могут быть расшифрованы в macroman. Другими словами, просто составьте список файлов, которые не могут быть обработаны и обрабатывать их, как если бы они были macroman.

другим способом сортировки этих файлов было бы создание серверной программы, которая позволяет пользователям решать, какая кодировка не искажена. Конечно, это было бы внутри компании, но с 100 сотрудниками, делающими несколько каждый день, Вы будете иметь тысячи файлов сделано в кратчайшие сроки.

наконец, не лучше ли просто конвертировать все существующие файлы в один формат и требовать, чтобы новые файлы были в этом формате.

у кого-нибудь еще была эта проблема с миллионами устаревших текстовых файлов, случайно закодированных? Если да, то как вы пытались решить эту проблему и насколько успешно?

в настоящее время я пишу программу, которая переводит файлы в XML. Он должен автоматически определять тип каждого файла, который является надмножеством задачи определения кодировки текстового файла. Для определения кодировки я использую байесовский подход. То есть, мой классификационный код вычисляет a вероятность (правдоподобие) того, что текстовый файл имеет определенную кодировку для всех кодировок, которые он понимает. Потом программа выбирает наиболее вероятный декодер. Байесовский подход работает так для каждой кодировки.

1. установить начальную (до) вероятность того, что файл находится в кодировке, на основе частот каждой кодировки.
2. проверьте каждый байт по очереди в файле. Найдите значение байта, чтобы определить корреляцию между этим байтом значение присутствует, и файл фактически находится в этой кодировке. Используйте эту корреляцию для вычисления нового (кзади) вероятность того, что файл находится в кодировке. Если у вас есть больше байтов для проверки, используйте заднюю вероятность этого байта в качестве предыдущей вероятности при проверке следующего байта.
3. когда Вы дойдете до конца файла (я на самом деле смотрю только на первые 1024 байта), проверяемость у вас есть вероятность того, что файл находится в кодирование.

оказывается, что теорема Байеса становится очень легко сделать, если вместо вычисления вероятностей, вычислить информационный контент, который является логарифмом шансы:info = log(p / (1.0 - p)).

вам нужно будет вычислить априорную вероятность initail и корреляции, изучив корпус файлов, которые вы вручную классифицировали.