Теория информации


Вероятностный подход к измерению дискретной и непрерывной информации


В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной сл.в., относительно другой сл.в., Этот способ приводит к выражению количества информации числом.

Для д.с.в. и , заданных законами распределения , и совместным распределением , количество информации, содержащейся в относительно , равно

Для непрерывных сл.в., и , заданных плотностями распределения вероятностей , и , аналогичная формула имеет вид

Очевидно, что

и, следовательно,

Энтропия д.с.в. в теории информации определяется формулой

Свойства меры информации и энтропии:

  1. , и независимы;
  2. ;
  3. - константа;

  4. , где ;
  5. . Если , то - функция от . Если - инъективная функция1) от , то .
  1. Логарифмированием из очевидного для всех

    неравенства (равенство устанавливается только при ) получается неравенство или

    т.е. только при для всех и , т.е. при независимости и . Если и независимы, то

    и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что ;

  2. Следует из симметричности формул относительно аргументов;
  3. Если , то все члены суммы, определяющей , должны быть нули, что возможно тогда и только тогда, когда - константа;
  4. Из четырех очевидных соотношений

    получается

  5. Нужно доказать или .

    но , а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.

Если , то для каждого

равно либо , либо 0. Но из

следует , что возможно только в случае, когда - функция от .

При независимости сл.в., и одна из них ничем не описывает другую, что и отражается в том, что для таких сл.в., .

Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.

Пусть заданы д.с.в. , и . и - количества очков, выпавших соответственно на 1-й и 2-й игральной кости, а . Найти , , .

Законы распределения вероятностей для д.с.в. и совпадают, т.к. кости одинаковые и без изъянов.

Закон распределения вероятностей для д.с.в. ,

вследствие того, что , - независимы и поэтому




Начало  Назад  Вперед



Книжный магазин