Практический способ объяснения " теории информации"

Мой собственный взгляд на " теорию информации "заключается в том, что она по сути является просто прикладной математикой / статистикой, но поскольку она применяется к коммуникациям / сигналам, ее называют"теорией информации".

Лучший способ начать понимать концепции-это поставить перед собой реальную задачу. Например, возьмите несколько страниц вашего любимого блога, сохраните его в виде текстового файла, а затем попытайтесь уменьшить размер файла, гарантируя, что вы все еще можете полностью восстановить файл (т. е. без потерь компрессия). Вы начнете, например, заменять все экземпляры и на 1, например....

Я всегда придерживаюсь мнения, что обучение на практике будет лучшим подходом

Я собирался рекомендовать Фейнмана для целей поп-науки, но, поразмыслив, я думаю, что это может быть хорошим выбором для облегчения серьезного исследования. Вы не можете действительно знать эти вещи, не получив математику, но Фейнман настолько пробуждает воспоминания, что он тайком вводит математику, не пугая лошадей.

Фейнман лекции по вычислениям http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Охватывает гораздо больше оснований, чем просто теория информации, но хорошо материал и приятно читать. (Кроме того, я обязан тянуть за командную физику. Ра! Ура! Ри!)

Я помню статьи в "мире персональных компьютеров", в которых была представлена версия ID3 для идентификации монет, хотя она использовала эвристическую альтернативу формуле логарифма. Я думаю, что он минимизировал суммы квадратов, а не максимизировал энтропию - но это было очень давно. Была еще одна статья В (Я думаю) Byte, которая использовала логарифмическую формулу для информации (не энтропии) для подобных вещей. Такие вещи давали мне ручку, которая облегчала работу с теорией.

EDIT - под " не энтропией "я подразумеваю, что он использовал взвешенные средние значения информации, но не использовал название"энтропия".

Я думаю, что построение простых деревьев решений из таблиц решений-это очень хороший способ понять взаимосвязь между вероятностью и информацией. Это делает связь между вероятностью и информацией более интуитивной, и она предоставляет примеры взвешенного среднего, чтобы проиллюстрировать эффект максимизации энтропии сбалансированных вероятностей. Очень хороший день-один из видов урок.

И что также приятно, вы можете заменить это дерево решений деревом декодирования Хаффмана (которое является , в конце концов, "какой токен я декодирую? дерево решений) и сделать эту ссылку на кодирование.

Кстати-взгляните на эту ссылку...

• http://www.inference.phy.cam.ac.uk/mackay/

У Маккея есть бесплатный загружаемый учебник (и доступный в печатном виде), и хотя я не прочитал его полностью, части, которые я прочитал, показались мне очень хорошими. Объяснение "объяснения прочь" в Байесе, начиная со страницы 293, в частности, остается в памяти.

CiteSeerX является очень полезным ресурсом для статей по теории информации (среди прочего).Есть две интересные работы...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Хотя CN2, вероятно, не является материалом первого дня.

Теория информации имеет очень эффективные приложения, например, в машинном обучении и интеллектуальном анализе данных. в частности, наиболее популярными подходами являются визуализация данных, выбор переменных, преобразование и прогнозирование данных, критерии теории информации.

См., например,

Http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf или http://www.mdpi.com/1424-8220/11/6/5695

Теория информации позволяет нам приблизиться к оптимальному сжатие данных формальным способом, например, в терминах задних распределений и Марковских одеял:

Http://www.mdpi.com/1099-4300/13/7/1403

Это позволяет получить верхнюю и нижнюю границы вероятности ошибки при выборе переменной:

Http://www.mdpi.com/1099-4300/12/10/2144

Одно из преимуществ использования теории информации по сравнению со статистикой состоит в том, что не обязательно устанавливать распределения вероятностей. Можно вычисляйте информацию, избыточность, энтропию, энтропию переноса, не пытаясь вообще оценить распределение вероятностей. Исключение переменных без потери информации определяется в терминах сохранения условных апостериорных вероятностей, используя теорию информации можно найти аналогичные формулировки...без необходимости вычислять плотности вероятности. Какуляции скорее с точки зрения взаимной информации между переменными и литературой обеспечили много эффективных оценок и ниже размерные аппроксимации для них. Видеть: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Я мог бы предложить эту книгу Глинну Винскелу. Он использовался в моем университете для курса теории информации. Он начинается с теории логики, затем определяет простой императивный язык, называемый IMP, и он следует со многими понятиями о формальной семантике в языке.

Формальная семантика языков программирования

Http://mitpress.mit.edu/books/formal-semantics-programming-languages

Хотя эти понятия могут быть абстрактными, но они находят хорошее применение в последнее время в машинном обучении/искусственном интеллекте. Это могло бы послужить хорошей мотивацией на практическую необходимость этих теоретических концепций. Таким образом, вы хотите оценить, насколько хорошо ваш функциональный аппроксиматор (LSTM, RNN или CNN или линейная регрессия) справляется с моделированием истинного распределения - это взаимная информация или относительная энтропия, например, минимизировать перекрестную энтропию в cnn или минимизировать искажение функция / расстояние в линейной регрессии..

Кроме того, вы не построите полезную коммуникационную или сетевую систему без некоторого теоретического анализа емкости и свойств канала.

В сущности, это может показаться теоретическим, но оно лежит в основе нынешнего века коммуникации. Чтобы получить более подробное представление о том, что я имею в виду, я приглашаю вас посмотреть эту лекцию ISIT: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s by Prof David TSe