Вероятностные методы

События, которые могут как произойти, так и нет, называются случайными. Вероятность р является количественной мерой возможности появления события и оценивает степень его случайности, неопределенности.

Значения вероятности заключены в интервале от нуля до единицы:. Значение р = 0 относится к невозможному событию, значение p = 1 – к событию, которое обязательно должно произойти, т.е. к неслучайным событиям.

Оценка количества информации для равновозможных событий

Вероятность появления события, принадлежащего множествуравновозможных событий, определяется выражением

(1.1)

где– число событий.

Например, при бросании 6-гранного куба (N = 6), выполненного из однородного материала, выпадение той или иной его грани является равновозможным событием Ап из шести событий. Множество из шести событий составляет полную группу, т.е. при бросании куба всегда происходит какое-либо событие Ап. Кроме того, события являются несовместными, так как при испытании не может произойти два и более событий одновременно. Поэтому вероятность события(выпадения какой-либо грани при бросании) равна

Для несовместных событий, составляющих полное пространство,

Из формулы (1.1) следует, что чем больше число N равновозможных событий, тем меньше вероятностьи больше степень неопределенностипоявления события Поэтому для оценки степени неопределенности появления события, которая определяет количество информации, выбрана логарифмическая функция с основанием а:

(1.2)

Целесообразность выбора меры (1.2) обусловлена тем, что при N= 1 степеньнеопределенности, вероятность появления событияравна рп = 1; пристепень неопределенности, вероятность появления события равна).

Так как между логарифмами с основаниями а и b существует связьгде, то и между значениями неопределенности при разных основаниях также существует связь, определяемая постоянным множителем М. Например, при основаниях 10 и 2 значения неопределенности связаны соотношением, так как. В информатике используются логарифмы по основанию 2 (log2 N). В этом случае степень неопределенности Нп выражается в битах. Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Выражение (1.2) применяется для оценки количества так называемой собственной, или индивидуальной, информации, получаемой путем снятия исходной неопределенности в результате произошедшего события. Используя выражения (1.1), (1.2), выразим количество информации через вероятности:

(1.3)

Соотношения (1.2) и (1.3) при условии (1.1) называют мерой Хартли, которая дает оценку количества информации для равновозможных событий.

 
< Пред   СОДЕРЖАНИЕ     След >