Теория информации

         

Семантическая информация


В 50-х годах XX века появились первые попытки определения абсолютного информационного содержания предложений естественного языка. Стоит отметить, что сам Шеннон однажды заметил, что смысл сообщений не имеет никакого отношения к его теории информации, целиком построенной на положениях теории вероятностей. Но его способ точного измерения информации наводил на мысль о возможности существования способов точного измерения информации более общего вида, например, информации из предложений естественного языка. Примером одной из таких мер является функция , где - это предложение, смысловое содержание которого измеряется, - вероятность истинности . Вот некоторые свойства этой функции-меры:

  1. если (из

    следует ) - истинно, то ;

  2. ;
  3. если - истинно, то ;
  4. , т.е. независимости и .

Значение этой функция-меры больше для предложений, исключающих большее количество возможностей. Пример: из - "" и - "" следует, что или ; ясно, что исключает больше возможностей, чем .

Для измерения семантической информации также используется функция-мера . Ясно, что или .

Упражнение 17

Вычислить и предложения , про которое известно, что оно достоверно на 50%, и предложения , достоверность которого 25%.

<

Содержание раздела