Согласно этой теории количество информации

Согласно этой теории количество информации I? о системе, полученной в сообщении р, оценивается уменьшением неопределенности состояния системы или разностью между начальной энтропией Н (до получения сообщения) и конечной энтропией Н? (после получения сообщения ?), т.е.

I? = H - H?.

14

Если в результате полученного сообщения ? неопределенность в системе полностью исчезает (Н? = 0), то количество информации в этом сообщении равно энтропии:

I? = Н

Иными словами, энтропия системы Н может рассматриваться как мера недостающей информации для устранения неопределенности в системе.

Энтропия системы Н, имеющей N возможных состояний, согласно формуле Шеннона, равна

где Pi - вероятность того, что система находится в i - м состоянии.

Если все состояния системы равновероятны, т.е. их вероятности равны Pi = 1/N , то ее энтропия определяется соотношением:

Если для передачи сообщения используется двоичная система счисления, то n - разрядная двоичная комбинация может отобразить N = 2n различных состояний системы. Для равновероятностных состояний системы и при использовании в формуле Шеннона двоичного логарифма качество информации будет равно объему передаваемых данных V? и соответствовать n битам, т.е. I = V? = n. Для неравновероятных состояний системы всегда I < V? = n. Для оценки информативности сообщений используют отношение количества информации к объему данных:

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе, т.е. работы по извлечению информативных данных, уменьшающих неопределенность в системе.

Семантическая мера информации. Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, получила распространение так называемая тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезауруса, т.е. совокупности сведений, которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

Содержание Назад Вперед

Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий