Теория информации


Вероятностный подход к измерению дискретной и непрерывной информации - часть 2


будет

Таблицы, определяющие :

Закон совместного распределения вероятностей д.с.в. и будет

например,

В общем случае получится

Тогда

Здесь , что соответствует свойствам информации.

Подчеркнутый член в расчете соответствует информации о двух случаях из 36, когда и , которые однозначно определяют . Шесть случаев, когда , не несут никакой информации об , что соответствует подчеркнутому члену .

Расчеты можно проводить, используя 4-е свойство информации, через энтропию.

Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.

Рассмотрим более простой пример. Пусть д.с.в. равна количеству очков, выпавших на игральной кости, а д.с.в. равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти и .

Составим законы распределения вероятностей д.с.в. и .

Таким образом, при и, соответственно, при .

Составим также закон совместного распределения вероятностей этих д.с.в.

Таким образом,

Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из бит/сим и 3-го свойства информации следует, что информация об полностью определяет , но не наоборот, т.к. бит/сим. Действительно, функционально зависит от , а от

функционально не зависит.

Расчеты через энтропию будут следующими

Упражнение 5

Найти энтропию д.с.в. , заданной распределением

Упражнение 6

Значения д.с.в. и определяются подбрасыванием двух идеальных монет, а д.с.в. равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об содержится в ?

Упражнение 7

Сколько информации об содержится в д.с.в. , где независимые д.с.в. и могут с равной вероятностью принимать значение либо 0, либо 1? Найти и . Каков характер зависимости между и ?

Упражнение 8

д.с.в. , - зависимы и распределены также как и соответствующие д.с.в. из предыдущей задачи. Найти , если совместное распределение вероятностей и

описывается законом

Упражнение 9

д.с.в. и определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4.


Начало  Назад  Вперед