Категории:

Количество информации как мера уменьшения неопределённости

Поиск по сайту:


Скачать 52.49 Kb.
Дата16.03.2012
Размер52.49 Kb.
ТипДокументы
Подобный материал:

Количество информации как мера уменьшения неопределённости.


Информация – это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра – информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Вы открыли и прочитали определение в учебнике:

Лемниската Бернулли есть геометрическое место точек, для которых произведение расстояний до концов данного отрезка F1F2=2c равно c2

Пополнил этот текст ваши знания? Нет!

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека.

Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.


Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так:

Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.

Что такое «неопределённость знаний»?


Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

Так вот, в этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести.

Неопределённость знаний о некотором событии – это количество возможных результатов события (бросания монеты, кубика).

После того как вы бросили монету, произошло одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

Студент на экзамене может получить одну из четырёх оценок: «5», «4», «3», «2» с равной вероятностью. На ваш вопрос: «Ну, что получил?» -- ответил: «Четвёрку!». Вопрос: Сколько бит информации содержится в его ответе?

Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

1). Оценка выше тройки? – Да.

После этого ответа число вариантов уменьшилось в два раза. Остались 4 и 5. Получен 1 бит информации.

2). Ты получил пятёрку? – Нет.

Выбран один вариант из двух оставшихся: оценка – «4». Получен ещё 1 бит информации. В сумме имеем 2 бита.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Решите задачу: в книжном стеллаже 8 полок. Книга может быть поставлена на любую из них. Сколько бит информации содержит сообщение о том, где находится книга?

1). Книга лежит выше 4 полки? Нет

2). Книга лежит ниже 3 полки? Да

3). Книга – на второй полке? Нет 1

Каждый ответ уменьшал неопределённость в два раза. Всего 3 вопроса  3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.


Выведем формулу, по которой вычисляется количество информации, содержащееся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий или, как мы это ещё называли, -- неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

Монеты N=2, i=1 21=2

Оценки N=4,i=2 22=4

Книги N=8,i=3 2i=N 23=8


Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения:

2i=N.


В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом: i=log2N.


Например, вычислим количество информации в сообщении о том, что из колоды карт случайным образом достали даму пик (в колоде 36 карт) i=log236=5,16993 бит.

Для определения количества информации, содержащийся в сообщении о том, что произошло одно из N равновероятных событий, используется формула i=log2N.

Эта формула была получена американским инженером Ричардом Хартли в 1928 году и поэтому известна под названием формулы Хартли.


До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Для того, чтобы разобраться что такое вероятность рассмотрим школьные оценки, чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четвёрок и пятёрок. Если допустить, что такое же распределение оценок сохранится и в будущем, то можно рассчитать вероятности получения каждой из оценок. Определив, какую часть составляют двойки, найдём вероятность получения двойки. Затем, определив, какую часть составляют тройки, найдём вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четвёрки, а доля пятёрок – это вероятность получения пятёрки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них:

60 – «5» вероятность пятёрки P5=60/100=0,6 60%

25 – «4» P4=25/100=0,25 25%

10 – «3» P3=10/100=0,1 10%

5 – «2» P2=5/100=0,05 5%

Обозначение:

N – это общее число возможных исходов какого-то процесса (кол-во всех шаров)

n – из них интересующее нас событие (кол-во белых шаров)

p=n/N

Теперь, зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Согласно теории информации, для этого нужно решить показательное уравнение 2i=1/p i=log21/p

I «5»=log2(1/0,6)=log2(5/3)=0,737 бит

I «4»=log2(1/0,25)=log2(4)=2 бита

I «3»=log2(1/0,1)=log2(10)=3,322 бита

I «2»=log2(1/0,05)=log2(20)=4,322 бита


Чем меньше вероятность события, тем больше информации несёт сообщение о нём.

Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.


На первый взгляд, кажется, что мы имеем две совсем разные формулы для вычисления информации. Первая – через количество событий, вторая – через вероятность:

1) i=log2N 2) i=log2(1/p)


На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинакова.

Представьте себе, что у нашего ученика было бы всех оценок поровну: пятёрок, четвёрок, троек, двоек – по 25 штук. Тогда вероятность каждой оценки равна 25/100=1/4. Значит, и количество информации будет одинаковым.

i5=i4=i3=i2=log2(1/0,25)log24=2 бита.

Но это та же задача о четырёх равновероятных оценках, которую мы решали раньше! И там тоже 4 бита.

Скачать, 57.84kb.
Поиск по сайту:

Добавить текст на свой сайт


База данных защищена авторским правом ©ДуГендокс 2000-2014
При копировании материала укажите ссылку
наши контакты
DoGendocs.ru
Рейтинг@Mail.ru