Рассчитать количество информации в сообщении. Решение задач на определение количества информации

Рассмотрены основы информатики и описаны современные аппаратные средства персонального компьютера. Сформулированы подходы к определению основных понятий в области информатики и раскрыто их содержание. Дана классификация современных аппаратных средств персонального компьютера и приведены их основные характеристики. Все основные положения иллюстрированы примерами, в которых при решении конкретных задач используются соответствующие программные средства.

Книга:

Разделы на этой странице:

Как уже отмечалось, понятие информации можно рассматривать при различных ограничениях, накладываемых на ее свойства, т. е. при различных уровнях рассмотрения. В основном выделяют три уровня – синтаксический, семантический и прагматический. Соответственно на каждом из них для определения количества информации применяют различные оценки.

На синтаксическом уровне для оценки количества информации используют вероятностные методы, которые принимают во внимание только вероятностные свойства информации и не учитывают другие (смысловое содержание, полезность, актуальность и т. д.). Разработанные в середине XX в. математические и, в частности, вероятностные методы позволили сформировать подход к оценке количества информации как к мере уменьшения неопределенности знаний. Такой подход, называемый также вероятностным, постулирует принцип: если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно утверждать, что такое сообщение содержит информацию. При этом сообщения содержат информацию о каких-либо событиях, которые могут реализоваться с различными вероятностями. Формулу для определения количества информации для событий с различными вероятностями и получаемых от дискретного источника информации предложил американский ученый К. Шеннон в 1948 г. Согласно этой формуле количество информации может быть определено следующим образом:

где I – количество информации; N – количество возможных событий (сообщений); p i – вероятность отдельных событий (сообщений); ? – математический знак суммы чисел.

Определяемое с помощью формулы (1.1) количество информации принимает только положительное значение. Поскольку вероятность отдельных событий меньше единицы, то соответственно выражение log^,– является отрицательной величиной и для получения положительного значения количества информации в формуле (1.1) перед знаком суммы стоит знак минус.

Если вероятность появления отдельных событий одинаковая и они образуют полную группу событий, т. е.

то формула (1.1) преобразуется в формулу Р. Хартли:

В формулах (1.1) и (1.2) отношение между количеством информации и соответственно вероятностью, или количеством, отдельных событий выражается с помощью логарифма. Применение логарифмов в формулах (1.1) и (1.2) можно объяснить следующим образом. Для простоты рассуждений воспользуемся соотношением (1.2). Будем последовательно присваивать аргументу N значения, выбираемые, например, из ряда чисел: 1, 2, 4, 8, 16, 32, 64 и т. д. Чтобы определить, какое событие из N равновероятных событий произошло, для каждого числа ряда необходимо последовательно производить операции выбора из двух возможных событий. Так, при N = 1 количество операций будет равно 0 (вероятность события равна 1), при N = 2, количество операций будет равно 1, при N = 4 количество операций будет равно 2, при N = 8, количество операций будет равно 3 и т. д. Таким образом получим следующий ряд чисел: 0, 1, 2, 3, 4, 5, 6 и т. д., который можно считать соответствующим значениям функции I в соотношении (1.2). Последовательность значений чисел, которые принимает аргумент N, представляет собой ряд, известный в математике как ряд чисел, образующих геометрическую прогрессию, а последовательность значений чисел, которые принимает функция I , будет являться рядом, образующим арифметическую прогрессию. Таким образом, логарифм в формулах (1.1) и (1.2) устанавливает соотношение между рядами, представляющими геометрическую и арифметическую прогрессии, что достаточно хорошо известно в математике.

Для количественного определения (оценки) любой физической величины необходимо определить единицу измерения, которая в теории измерений носит название меры. Как уже отмечалось, информацию перед обработкой, передачей и хранением необходимо подвергнуть кодированию. Кодирование производится с помощью специальных алфавитов (знаковых систем). В информатике, изучающей процессы получения, обработки, передачи и хранения информации с помощью вычислительных (компьютерных) систем, в основном используется двоичное кодирование, при котором используется знаковая система, состоящая из двух символов 0 и 1. По этой причине в формулах (1.1) и (1.2) в качестве основания логарифма используется цифра 2.

Исходя из вероятностного подхода к определению количества информации эти два символа двоичной знаковой системы можно рассматривать как два различных возможных события, поэтому за единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза (до получения событий их вероятность равна 0,5, после получения – 1, неопределенность уменьшается соответственно: 1/0,5 = 2, т. е. в 2 раза). Такая единица измерения информации называется битом (от англ. слова binary digit – двоичная цифра). Таким образом, в качестве меры для оценки количества информации на синтаксическом уровне, при условии двоичного кодирования, принят один бит.

Следующей по величине единицей измерения количества информации является байт, представляющий собой последовательность, составленную из восьми бит, т. е.

1 байт = 2 3 бит = 8 бит.

В информатике также широко используются кратные байту единицы измерения количества информации, однако в отличие от метрической системы мер, где в качестве множителей кратных единиц применяют коэффициент 10n, где п = 3, 6, 9 и т. д., в кратных единицах измерения количества информации используется коэффициент 2n. Выбор этот объясняется тем, что компьютер в основном оперирует числами не в десятичной, а в двоичной системе счисления.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 Килобайт (Кбайт) = 2 10 байт = 1024 байт,

1 Мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт,

1 Гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт,

1 Терабайт (Тбайт) = 2 10 Гбайт = 1024 Гбайт,

1 Петабайт (Пбайт) = 2 10 Тбайт = 1024 Тбайт,

1 Экзабайт (Эбайт) = 2 10 Пбайт = 1024 Пбайт.

Единицы измерения количества информации, в названии которых есть приставки «кило», «мега» и т. д., с точки зрения теории измерений не являются корректными, поскольку эти приставки используются в метрической системе мер, в которой в качестве множителей кратных единиц используется коэффициент 10n, где п = 3, 6, 9 и т. д. Для устранения этой некорректности международная организацией International Electrotechnical Commission, занимающаяся созданием стандартов для отрасли электронных технологий, утвердила ряд новых приставок для единиц измерения количества информации: киби (kibi), меби (mebi), гиби (gibi), теби (tebi), пети (peti), эксби (exbi). Однако пока используются старые обозначения единиц измерения количества информации, и требуется время, чтобы новые названия начали широко применяться.

Вероятностный подход используется и при определении количества информации, представленной с помощью знаковых систем. Если рассматривать символы алфавита как множество возможных сообщений N, то количество информации, которое несет один знак алфавита, можно определить по формуле (1.1). При равновероятном появлении каждого знака алфавита в тексте сообщения для определения количества информации можно воспользоваться формулой (1.2).

Количество информации, которое несет один знак алфавита, тем больше, чем больше знаков входит в этот алфавит. Количество знаков, входящих в алфавит, называется мощностью алфавита. Количество информации (информационный объем), содержащееся в сообщении, закодированном с помощью знаковой системы и содержащем определенное количество знаков (символов), определяется с помощью формулы:

где V – информационный объем сообщения; / = log 2 N, информационный объем одного символа (знака); К – количество символов (знаков) в сообщении; N – мощность алфавита (количество знаков в алфавите).

Поясним вышесказанное в п. 1.2 на примерах.

Пример 1.1

Определим, какое количество информации можно получить после реализации одного из шести событий. Вероятность первого события составляет 0,15; второго – 0,25; третьего – 0,2; четвертого – 0,12; пятого – 0,12; шестого – 0,1, т. е. Р 1 = 0,15; Р 2 = 0,25; Р 3 = 0,2; Р 4 = 0,18; Р 5 = 0,12; Р 6 = 0,1.

Решение.

Для определения количества информации применим формулу (1.1)

Для вычисления этого выражения, содержащего логарифмы, воспользуемся сначала компьютерным калькулятором, а затем табличным процессором Microsoft (MS) Excel, входящим в интегрированный пакет программ MS Office ХР.

Для вычисления с помощью компьютерного калькулятора выполним следующие действия.

С помощью команды: [Кнопка Пуск – Программы – Стандартные – Калькулятор] запустим программу Калькулятор. После запуска программы выполним команду: [Вид – Инженерный] (рис. 1.3).

Рис. 1.3. Инженерный калькулятор

Кнопка log калькулятора производит вычисление десятичного (по основанию 10) логарифма отображаемого числа. Поскольку в нашем случае необходимо производить вычисления логарифмов по основанию 2, а данный калькулятор не позволяет этого делать, то необходимо воспользоваться известной формулой:

logbN = М · log a N,

В нашем случае соотношение примет вид: log 2 N = M log 10 N,

т. е log 2 N = 3,322 · log 10 N, и выражение для вычисления количества информации примет вид:

При вычислении на калькуляторе используем кнопки: +/- (изменение знака отображаемого числа),()(открывающие и закрывающие скобки), log (логарифм числа по основанию 10) и т. д. Результат вычисления показан на рис. 1.3. Таким образом, количество информации I = 2,52 бит.

Воспользуемся теперь табличным процессором MS Excel. Для запуска программы Excel выполним команду: [Кнопка Пуск – Программы – MS Office ХР – Microsoft Excel]. В ячейки А1, В1, С1, D1, E1, F1 открывшегося окна Excel запишем буквенные обозначения вероятностей Р 1 , Р 2 , P 3 , Р 4 , P 5 , P 6 а в ячейку G1 – количество информации I , которое необходимо определить. Для написания нижних индексов у вероятностей Р 1 ? P 6 в ячейках А1, В1, С1, D1, E1, F1 выполним следующую команду: [Формат – Ячейки – Шрифт – Видоизменение (поставим флажок напротив нижнего индекса) ]. В ячейки А2, В2, С2, D2, Е2, F2 запишем соответствующие значения вероятностей.

После записи значений в ячейки необходимо установить в них формат числа. Для этого необходимо выполнить следующую команду: [Формат – Ячейки – Число – Числовой (устанавливаем число десятичных знаков, равное двум) ]. Устанавливаем в ячейке G2 тот же числовой формат. В ячейку G2 записываем выражение = – (A2*LOG(A2;2) + B2*LOG(B2;2) + C2*LOG(C2;2) + D2*LOG(D2;2) + E2*LOG(E2;2) + F2*LOG(F2;2)). После нажатия на клавиатуре компьютера клавиши , в ячейке G2 получим искомый результат – I = 2,52 бит (рис. 1.4).

Рис. 1.4. Результат вычисления количества информации

Пример 1.2

Определим, какое количество байт и бит информации содержится в сообщении, если его объем составляет 0,25 Кбайта.

Решение.

С помощью калькулятора определим количество байт и бит информации, которое содержится в данном сообщении:

I = 0,25 Кбайт · 1024 байт/1 Кбайт = 256 байт;

I = 256 байт · 8 бит/1 байт = 2048 бит.

Пример 1.3

Определим мощность алфавита, с помощью которого передано сообщение, содержащее 4096 символов, если информационный объем сообщения составляет 2 Кбайта.

Решение.

С помощью калькулятора переведем информационный объем сообщения из килобайт в биты:

V = 2 Кбайт 1024 байт/1 Кбайт = 2048 байт 8 бит/1 байт = 16384 бит.

Определим количество бит, приходящееся на один символ (информационный объем одного символа) в алфавите:

I = 16 384 бит/4096 = 4 бит.

Используя формулу (1.3), определим мощность алфавита (количество символов в алфавите) :

N = 2 I = 2 4 = 16.

Как уже отмечалось, если принять во внимание только свойство информации, связанное с ее смысловым содержанием, то при определении понятия информации можно ограничиться смысловым, или семантическим, уровнем рассмотрения этого понятия.

На семантическом уровне информация рассматривается по ее содержанию, отражающему состояние отдельного объекта или системы в целом. При этом не учитывается ее полезность для получателя информации. На данном уровне изучаются отношения между знаками, их предметными и смысловыми значениями (см. рис. 1.1), что позволяет осуществить выбор смысловых единиц измерения информации. Поскольку смысловое содержание информации передается с помощью сообщения, т. е. в виде совокупности знаков (символов), передаваемых с помощью сигналов от источника информации к приемнику, то широкое распространение для измерения смыслового содержания информации получил подход, основанный на использовании тезаурусной меры. При этом под тезаурусом понимается совокупность априорной информации (сведений), которой располагает приемник информации.

Данный подход предполагает, что для понимания (осмысливания) и использования полученной информации приемник (получатель) должен обладать априорной информацией (тезаурусом), т. е. определенным запасом знаков, наполненных смыслом, слов, понятий, названий явлений и объектов, между которыми установлены связи на смысловом уровне. Таким образом, если принять знания о данном объекте или явлении за тезаурус, то количество информации, содержащееся в новом сообщении о данном предмете, можно оценить по изменению индивидуального тезауруса под воздействием данного сообщения. В зависимости от соотношений между смысловым содержанием сообщения и тезаурусом пользователя изменяется количество семантической информации, при этом характер такой зависимости не поддается строгому математическому описанию и сводится к рассмотрению трех основных условий, при которых тезаурус пользователя:

Стремится к нулю, т. е. пользователь не воспринимает поступившее сообщение;

Стремится к бесконечности, т. е. пользователь досконально знает все об объекте или явлении и поступившее сообщение его не интересует;

Согласован со смысловым содержанием сообщения, т. е. поступившее сообщение понятно пользователю и несет новые сведения.

Два первых предельных случая соответствуют состоянию, при котором количество семантической информации, получаемое пользователем, минимально. Третий случай связан с получением максимального количества семантической информации. Таким образом, количество семантической информации, получаемой пользователем, является величиной относительной, поскольку одно и то же сообщение может иметь смысловое содержание для компетентного и быть бессмысленным для некомпетентного пользователя.

Поэтому возникает сложность получения объективной оценки количества информации на семантическом уровне ее рассмотрения и для получения такой оценки используют различные единицы измерения количества информации: абсолютные или относительные. В качестве абсолютных единиц измерения могут использоваться символы, реквизиты, записи и т. д., а в качестве относительной – коэффициент содержательности, который определяется как отношение семантической информации к ее объему. Например, для определения на семантическом уровне количества информации, полученной студентами на занятиях, в качестве единицы измерения может быть принят исходный балл (символ), характеризующий степень усвояемости ими нового учебного материала, на основе которого можно косвенно определить количество информации, полученное каждым студентом. Это количество информации будет выражено через соответствующий оценочный балл в принятом диапазоне оценок.

При семантическом подходе к оценке количества информации и выборе единицы измерения существенным является вид получаемой информации (сообщения). Так, данный подход к оценке количества экономической информации позволяет выявить составную единицу экономической информации, состоящую из совокупности других единиц информации, связанных между собой по смыслу. Элементарной составляющей единицей экономической информации является реквизит, т. е. информационная совокупность, которая не поддается дальнейшему делению на единицы информации на смысловом уровне. Деление реквизитов на символы приводит к потере их смыслового содержания. Каждый реквизит характеризуется именем, значением и типом. При этом под именем реквизита понимается его условное обозначение, под значением – величина, характеризующая свойства объекта или явления в определенных обстоятельствах, под типом – множество значений реквизита, объединенных определенными признаками и совокупностью допустимых преобразований.

Реквизиты принято делить на реквизиты-основания и реквизиты-признаки .

Реквизиты-основания характеризуют количественную сторону экономического объекта, процесса или явления, которые могут быть получены в результате совершения отдельных операций – вычислений, измерений, подсчета натуральных единиц и т. д. В экономических документах к ним можно отнести, например, цену товара, его количество, сумму и т. п. Реквизиты-основания чаще всего выражаются в цифрах, над которыми могут выполняться математические операции.

Реквизиты-признаки отражают качественные свойства экономического объекта, процесса или явления. С помощью реквизитов-признаков сообщения приобретают индивидуальный характер. В экономических документах к ним можно отнести, например, номер документа, имя отправителя, дату составления документа, вид операции и т. п. Реквизиты-признаки позволяют осуществлять логическую обработку единиц количества информации на семантическом уровне: поиск, выборку, группировку, сортировку и т. д.

Отдельный реквизит-основание вместе с относящимися к нему реквизитами-признаками образует следующую в иерархическом отношении составную единицу экономической информации – показатель. Показатель имеет наименование, в состав которого входят термины, обозначающие измеряемый объект: себестоимость, затраты, мощность, прибыль и т. д. Кроме того, показатель содержит формальную характеристику и дополнительные признаки. К формальной характеристике относится способ его получения (объем, сумма, прирост, процент, среднее значение и т. д.), а к дополнительным – пространственно-временные (где находится измеряемый объект, время, к которому относится данный показатель) и метрологические (единицы измерения).

Таким образом, с помощью совокупности реквизитов и соответствующих им показателей можно оценить количество экономической информации, получаемой от исследуемого объекта (источника информации).

Кроме подхода, основанного на использовании тезаурусной меры, при определении количества информации на семантическом уровне находят применение и другие подходы . Например, один из подходов, связанных с семантической оценкой количества информации, заключается в том, что в качестве основного критерия семантической ценности информации, содержащейся в сообщении, принимается количество ссылок на него в других сообщениях. Количество получаемой информации определяется на основе статистической обработки ссылок в различных выборках.

Подводя итог сказанному, можно утверждать, что существовала и существует проблема формирования единого системного подхода к определению информации на семантическом уровне. Это подтверждается и тем, что в свое время для создания строгой научной теории информации К. Шеннон вынужден был отбросить важное свойство информации, связанное со смысловым ее содержанием.

Кроме перечисленных уровней рассмотрения понятия информации достаточно широко используется прагматический уровень. На данном уровне информация рассматривается с точки зрения ее полезности (ценности) для достижения потребителем информации (человеком) поставленной практической цели. Данный подход при определении полезности информации основан на расчете приращения вероятности достижения цели до и после получения получения информации . Количество информации, определяющее ее ценность (полезность), находится по формуле:

где Р 0 , P 1 – вероятность достижения цели соответственно до и после получения информации.

В качестве единицы измерения (меры) количества информации, определяющей ее ценность, может быть принят 1 бит (при основании логарифма, равном 2), т. е. это такое количество полученной информации, при котором отношение вероятностей достижения цели равно 2.

Рассмотрим три случая, когда количество информации, определяющее ее ценность, равно нулю и когда она принимает положительное и отрицательное значение.

Количество информации равно нулю при Р 0 = Р 1 , т.е. полученная информация не увеличивает и не уменьшает вероятность достижения цели.

Значение информации является положительной величиной при P 1 > P 0 , т. е. полученная информация уменьшает исходную неопределенность и увеличивает вероятность достижения цели.

Значение информации является отрицательной величиной при P 1 < P 0 , т. е. полученная информация увеличивает исходную неопределенность и уменьшает вероятность достижения цели. Такую информацию называют дезинформацией.

Дальнейшее развитие данного подхода базируется на статистической теории информации и теории решений. При этом кроме вероятностныхарактеристик достижения цели после получения информации вводятся функции потерь и оценка полезности информации производится в результате минимизации функции потерь. Максимальной ценностью обладает то количество информации, которое уменьшает потери до нуля при достижении поставленной цели .

Для того чтобы иметь возможность сравнивать различные источники сообщений и различные линии и каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Такая мера в виде количества информации была введена К. Шенноном на основе концепции выбора, что позволило ему построить достаточно общую математическую теорию связи.

Рассмотрим основные идеи этой теории применительно к дискретному источнику, выдающему последовательность элементарных сообщений. Попытаемся найти удобную меру количества информации, заключенной в некотором сообщении. Основная идея теории информации заключается в том, что эта мера определяется не конкретным содержанием данного сообщения, а тем фактом, что источник выбирает данное элементарной т общение из конечного множества . Эта идея оправдана тем, что на ее основании удалось получить ряд далеко идущих и в то же время нетривиальных результатов, хорошо согласующихся с интуитивными представлениями о передаче информации. Основные из этих результатов будут изложены далее.

Итак, если источник производит выбор одного элементарного сообщения () из множества алфавита , то выдаваемое им количество информации зависит не от конкретного содержания этого элемента, а от того, каким образом этот выбор осуществляется. Если выбираемый элемент сообщения заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю. Поэтому будем считать, что выбор буквы происходит с некоторой вероятностью . Эта вероятность может, вообще говоря, зависеть от того, какая последовательность предшествовала данной букве. Примем, что количество информации, заключенное в элементарном сообщении является непрерывной функцией этой вероятности , и попытаемся определить вид этой функции так, чтобы он удовлетворял некоторым простейшим интуитивным представлениям об информации.

С этой целью произведем простое преобразование сообщения, заключающееся в том, что каждую пару «букв» ,создаваемых последовательно источником, мы будем рассматривать как одну укрупненную «букву». Такое преобразование назовем укрупнением алфавита. Множество укрупненных «букв» образует алфавит объемом , так как вслед за каждым из элементов алфавита может, вообще говоря, выбираться любой из элементов. Пусть есть вероятность того, что источник произведет последовательный выбор элементов и . Тогда, рассматривая пару , как букву нового алфавита можно утверждать, что в этой паре заключено количество информации .

Естественно потребовать, чтобы количество информации, заключенное в паре букв, удовлетворяло условию аддитивности, т. е. равнялось сумме количеств информации, содержащихся в каждой из букв и первоначального алфавита . Информация, содержащаяся в букве , равна , где - вероятность выбора буквы после всех букв, предшествовавших ей. Для определения информации, содержащейся в букве , нужно учесть вероятность выбора буквы после буквы с учетом также всех букв, предшествовавших букве . Эту условную вероятность обозначим . Тогда количество информации в букве выразится функцией .

С другой стороны, вероятность выбора пары букв по правилу умножения вероятностей равна

Требование аддитивности количества информации при операции укрупнения алфавита приводит к равенству

Пусть и . Тогда для любых и должно соблюдаться уравнение

Случаи или мы исключаем из рассмотрения, так как вследствие конечного числа букв алфавита эти равенства означают, что выбор источником пары букв , является невозможным событием.

Равенство (1.3) является функциональным уравнением, из которого может быть определен вид функции . Продифференцируем обе части уравнения (1.3) по р:

.

Умножим обе части полученного уравнения на р и введем обозначение , тогда

(1.4)

Это уравнение должно быть справедливо при любом и любом . Последнее ограничение не существенно, так как уравнение (1.4) симметрично относительно и и, следовательно, должно выполняться для любой пары положительных значений аргументов, не превышающих единицы. Но это возможно лишь в том случае, если обе части (1.4) представляют некоторую постоянную величину , откуда

Интегрируя полученное уравнение, найдем

, (1.5)

где - произвольная постоянная интегрирования.

Формула (1.5) определяет класс функций , выражающих количество информации при выборе буквы , имеющей вероятность , и удовлетворяющих условию аддитивности. Для определения постоянной интегрирования воспользуемся высказанным выше условием, по которому заранее предопределенный элемент сообщения, т. е. имеющий вероятность , не содержит информации. Следовательно, , откуда сразу следует, что . - основание натуральных логарифмов), или, другими словами, равна информации, содержащейся в сообщении о том, что наступило событие, вероятность которого равнялась

считая, что логарифм берется по любому основанию, лишь бы это основание сохранялось на протяжении решаемой задачи.

Благодаря свойству аддитивности информации выражения (1.6) позволяют определить количество информации не только в букве сообщения, но и в любом сколь угодно длинном сообщении. Нужно лишь принять за вероятность выбора этого сообщения из всех возможных с учетом ранее выбранных сообщений.

Основное содержание темы: Известны два подхода к измерению информации: содержательный и алфавитный. Алфавитный подход используется для измерения количества информации в тексте, представленном в виде последовательности символов некоторого алфавита. Такой подход не связан с содержанием текста. Количество информации в этом случае называется информационным объемом текста. С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком.

Практическая работа 2. Решение задач с применением формулы Хартли

Цель работы: определение количества информации при содержательном подходе.

1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;

2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;

3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны: {p i }, i = 1..N.

Если равновероятные события, то величины i и N связаны между собой формулой Хартли:

2 i = N (1), где

i – количество информации в сообщении о том, что произошло одно из N равновероятных событий, измеряется в битах.

N - число возможных вариантов события.

Формула Хартли - это показательное уравнение. Если i - неизвестная величина, то решением уравнения (1) будет:

Формулы (1) и (2) тождественны друг другу.

Оборудование:

1. Разберите ниже приведенные примеры задач с решениями. Запишите в тетрадь.

Задача 1. Найти количество информации в однозначном сообщении.

Решение :

N=1 => 2 i =1 => i=0 бит

Задача 2. Измерить количество информации при ответе на вопрос: «Какие завтра намечаются осадки?»

Решение:

N=4 => 2 i =4 => i=2 бит

Задача 3. Получено сообщение, объемом 10 бит. Какое количество сообщений возможно составить из полученных данных?

Решение:

i=10 => 2 10 =1024 => N=1024 сообщения

1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?

2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

3. Некто задумал натуральное число в диапазоне от 1 до 32. Какое минимальное число вопросов надо задать, чтобы гарантированно угадать задуманное (выделенное) число. Ответы могут быть только «да» или «нет».

4. (Задача о фальшивой монете). Имеется 27 монет, из которых 26 настоящих и одна фальшивая. Каково минимальное число взвешиваний на рычажных весах, за которое можно гарантированно определить одну фальшивую монету из 27, используя то, что фальшивая монета легче настоящей. Рычажные весы имеют две чашки и с их помощью можно лишь установить, одинаково ли по весу содержимое чашек, и если нет, то содержимое какой из чашек тяжелее.

5. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд?

6. Какое количество информации получит первый игрок после первого хода второго игрока в игре "крестики - нолики" на поле 4 х 4?

7. После реализации одного из возможных событий получили количество информации равное 15 бит. Какое количество возможных событий было первоначально?

8. Определить стратегию угадывания одной карты из колоды из 32 игральных карт (все четыре шестерки отсутствуют), если на вопросы будут даны ответы "да" или "нет".

9. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика?

10. Сообщение о том, что ваш друг живет на 6 этаже несет 4 бита информации. Сколько этажей в доме.

11. Информационная емкость сообщения о том, что из корзины, где лежало некоторое количество разноцветных шаров, достали зеленый шар, несет в себе 0, 375 байта информации. Сколько в корзине было шаров.

12. В библиотеке 16 стеллажей. На каждом стеллаже по 8 полок Библиотекарь сказал Оле, что интересующая ее книга находится на 3 стеллаже, на 2-й сверху полке. Какое количество информации получила Оля?

13. В мешке находятся 30 шаров, из них 10 белых и 20 черных. Какое количество информации несет сообщение о том, что достали белый шар, черный шар?

14. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов полу­чил четверку?

15. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

16. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

17. В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?

Контрольные вопросы:

1. Какой принцип положен в основу измерения количества информации?

2. Каким образом определяется единица количества информации при кибернетическом подходе?

3. Что принимается за минимальную единицу количества информации с точки зрения уменьшения неопределенности знаний в 2 раза?

4. В каких случаях применяют формулу Хартли?

Практическая работа 3. Вычисление количества информации на основе вероятностного подхода

Цель работы: совершенствование навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование: см. практическую работу 2.

Оборудование: дидактические материалы по теме «Определение количества информации»

Последовательность выполнения:

Задача 1. В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?

Решение .

· По условию задачи у нас имеется 20 различных вариантов.

· Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:

h=log 2 20» 4,32 бит

или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.

Задача 2. В доме 14 окон. Сколько различных сигналов можно подать, зажигая свет в окнах? Сколько бит информации несет в себе каждый такой сигнал?

Решение .

· Каждое окно несет в себе 1 бит информации: горит - не горит.

· Количество различных равновероятных сигналов, передаваемое с помощью 14 бит равно 2 14 = 16 384.

· Каждый из 16 384 сигналов несет в себе 14 бит информации.

2. Решите следующие задачи. Результат оформите в тетради.

1. В корзине лежат шары. Все разного цвета. Сообщение о том, что достали синий шар, несет 5 бит информации. Сколько всего шаров в корзине?

2. В соревновании участвуют 4 команды. Сколько информации в сообщении, что выиграла 3-я команда?

3. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

4. В коробке 5 синих и 15 красных шариков. Какое количество информации несет сообщение, что из коробки достали синий шарик?

5. В коробке находятся кубики трех цветов: красного, желтого и зеленого, причем желтых в два раза больше красных, а зеленых на 6 больше, чем желтых. Сообщение о том, что из коробки случайно вытащили желтый кубик, содержало 2 бита информации. Сколько было зеленых кубиков?

6. Студенты группы изучают один из трех языков: английский, немецкий или французский, причем 12 студентов не учат английский. Сообщение, что случайно выбранный студент Петров изучает английский, несет log23 бит информации, а что Иванов изучает французский – 1 бит. Сколько студентов изучают немецкий язык?

7. В составе 16 вагонов, среди которых К – купейные, П – плацкартные и СВ – спальные. Сообщение о том, что ваш друг приезжает в СВ, несет 3 бита информации. Сколько в поезде вагонов СВ?

8. Студенческая группа состоит из 21 человека, которые изучают немецкий или французский языки. Сообщение о том, что студент A изучает немецкий язык, несет log 2 3 бит информации. Сколько человек изучают французский язык?

9. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811?

10. Для дистанционной передачи роботу различных команд применяются сигналы в 6 бит, причем сигнала в 5 бит недостаточно для передачи всех команд. Может ли общее количество всех команд для этого робота быть равно:

42 командам? 70 командам?

28 командам? 55 командам?

Какое наименьшее и какое наибольшее количество команд может получать робот?

11. Одиннадцать одноклассников решают голосованием, куда пойти после уроков. При голосовании каждый может быть либо “за” либо “против”. Сколько различных вариантов голосования может быть? Сколько бит потребуется, чтобы закодировать результаты голосования?

12. Какое минимальное количество бит информации требуется для кодирования всех букв русского алфавита?

13. Друзья в соседних домах договорились передавать друг другу сообщения в виде световых сигналов. Сколько лампочек им понадобиться для кодирования 10 различных слов?

14. В компьютерной игре распознаются 65 различных команд управления. Сколько бит требуется отвести в блоке памяти для кодирования каждой команды? Достаточно ли отведенных бит для кодирования 100 команд?

Контрольные вопросы:

1. Какие события являются равновероятностными?

2. Приведите примеры из жизни равновероятностных событий.

3. Какая формула связывает между собой количество возможных событий и количествоинформации?

4. Как зависит количество информации от количества возможных событий?

5. Верно ли высказывание о том что, чем больше количество возможных событий, тем меньше количество информации будет содержать сообщение о результатах опыта.

Ответ обоснуйте.

Практическая работа 4 . Решение задач с применением формулы Шеннона

Цель работы: приобретение навыка по определению количества информации на основе вероятностного подхода

Краткое теоретическое обоснование:

Степень неопределенности – одна из характеристик случайного события, которую назвали энтропией. Обозначается - Н(α). За единицу энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятностных исхода. Существуют множества ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета не симметрична (одна сторона тяжелее другой), то при её бросании вероятности выпадения «орла» и «решки» будут различаться. Формулу для вычисления количества информации в случае различных вероятностей событий предложил К.Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

P i log 2 p i , где I –количество информации, N –количество возможных событий, p i –вероятности отдельных событий. Вероятность события p i =1/N.

Для решения задач такого типа нам необходимо знать формулу расчета вероятности исхода. Она выглядит так:

где M – это величина, показывающая сколько раз произошло событие, N – это общее число возможных исходов какого-то процесса.

Необходимо знать, что в сумме все вероятности дают единицу или в процентном выражении 100%.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

Задача 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули. Верхняя перевернутая карта оказалась черной дамой. Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху?

Решение .

В результате сообщения об исходе случайного события не наступает полной определенности: выбранная карта может иметь одну из двух черных мастей.

Так как информация есть уменьшение неопределенности знаний:

До переворота карты неопределенность (энтропия) составляла

H1 = log 2 N1, после него – H2 = log 2 N2.

(причем в условиях задачи N1 = 16, а N2 = 2).

В итоге информация вычисляется следующим образом:

I = H1 – H2 = log 2 N1 – log 2 N2 = log 2 N1/N2 = log 2 16/2 = 3 бита.

Задача 2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?

Решение .

Р 1 =0,5; Р 2 =Р 3 =0,25 Þ бита.

Задача 3. Определить количество информации, получаемое при реализации одного из событий, если бросают

а) несимметричную четырехгранную пирамидку;

б) симметричную и однородную четырехгранную пирамидку.

Решение .

а) Будем бросать несимметричную четырехгранную пирамидку.

Вероятность отдельных событий будет такова:

тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле Шеннона т.к. неравновероятностные события:

I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).

б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки, т.е. равновероятностные события:

I = log 2 4 = 2 (бит).

2. Решите следующие задачи. Результат оформите в тетради.

1. В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

3. За контрольную работу по информатике получено 8 пятерок, 13 четверок, 6 троек и 2 двойки. Какое количество информации получил Васечкин при получении тетради с оценкой?

4. Известно, что в ящике лежат 20 шаров. Из них 10 - черных, 4 - белых, 4 - желтых и 2 - красный. Какое количество информации несёт сообщения о цвете вынутого шара?

5. В сейфе банкира Богатеева лежат банкноты достоинством 1, 10 или 100 талеров каждая. Банкир раскрыл свой сейф и наугад вытащил из него одну банкноту. Информационный объем сообщения "Из сейфа взята банкнота достоинством в 10 талеров" равен 3 бита. Количество информации, содержащееся в сообщении "Из сейфа взята банкнота достоинством не в 100 талеров", равно 3-log25 бит. Определите информационный объем зрительного сообщения о достоинстве вынутой банкноты.

3. Выполните упражнение

Ниже приведены 11 событий:

1. Первый встречный человек мужского пола.

2. За понедельником будет вторник.

3. За контрольную работу можно получить «отлично».

4. К телефону из пяти членов семьи подойдет младший сын.

6. После лета буде зима.

7. Каждый из 15 учеников, посещающих данные занятия, поступит на математическую специальность.

8. В лотерее победит билет с номером 777777.

9. Подброшенная монетка упадет гербом вверх.

10. На подброшенном кубике выпадет шесть очков.

11. Из выбираемых наугад карточек с цифрами выберем карточку с цифрой 5.

Задание среди 11 событий записать номера тех, которые:

1. Достоверные _________________________________________________

2. Невозможные ________________________________________________

3. Неопределенные______________________________________________

4. Среди неопределенных указать те, которые имеют 2 равновозможных исхода ______________________________________________________

5. Неопределенные события расставить в порядке возрастания числа равновероятных исходов _______________________________________

6. Назвать событие более неопределенное____________________________

7. Назвать событие менее неопределенное. ___________________________

8. Учитывая задания № 6 и № 7, установить зависимость степени неопределенности от числа равновероятных исходов. ____________________________________________________________

9. Сделать тот же вывод, используя понятие вероятности. ____________________________________________________________

Контрольные вопросы:

1. Какие бывают события?

2. Приведите примеры равновероятных и неравновероятных событий?

3. Как определить вероятность выполнения определенного события?

4. При каких событиях применяют формулу Шеннона для определения количества информационного сообщения?

5. При каком условии формула Хартли становится частным случаем формулы Шеннона?

Практическая работа 5 . Решение задач на определение количества информации

Цель работы: приобретение навыка по определению количества информации на основе вероятностного и содержательного подхода

Краткое теоретическое обоснование: В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности.

Клод Шеннон определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу количества информации принял то, что впоследствии назвали битом (bit). Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией. Энтропия и количество информации измеряются в одних и тех же единицах – в битах.

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум, т.е. энтропию выражают как: H0 = log 2 m.

В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x 1 , x 2 , … x m c вероятностями p 1 , p 2 , … p m , вычисляют по формуле Шеннона.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

1. Разберите примеры решения задач

Задача 1. Определите количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом

Решение.

В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.

Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке m = 8.

Количество информации в одной строке: I = n log m = 600 log 8, а количество информации

в кадре: I = 625 I = 625 600 log 8 = 1,125 =106 бит

Задача 2. В велокроссе участвуют 119 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?

1) 70 бит 2) 70 байт 3) 490 бит 4) 119 байт

Решение.

1) велосипедистов было 119, у них 119 разных номеров, то есть, нам нужно закодировать 119 вариантов;

2) по таблице степеней двойки находим, что для этого нужно минимум 7 бит (при этом можно закодировать 128 вариантов, то есть, еще есть запас); итак, 7 бит на один отсчет;

3) когда 70 велосипедистов прошли промежуточный финиш, в память устройства записано 70 отсчетов;

4) поэтому в сообщении 70*7 = 490 бит информации (ответ 3).

2. Решите следующие задачи. Результат оформите в тетради.

1. В зоопарке 32 обезьяны живут в двух вольерах, А и Б. Одна из обезьян – альбинос (вся белая). Сообщение «Обезьяна-альбинос живет в вольере А» содержит 4 бита информации. Сколько обезьян живут в вольере Б?

2. В корзине лежат 32 клубка шерсти, из них 4 красных. Сколько бит информации несет сообщение о том, что достали клубок красной шерсти?

3. Двое играют в «крестики-нолики» на поле 4 на 4 клетки. Какое количество информации получил второй игрок, узнав ход первого игрока?

4. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.

5. В велокроссе участвуют 678 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 200 велосипедистов?

Контрольные вопросы:

1. Дайте определение энтропии.

2. Как связаны между собой понятия количества информации и энтропии?

3. Какие подходы к определению количества информации вам известны?

4. В чем смысл каждого из подходов к определению количества информации?

5. Что называется измерением информации?

6. Какие способы определения количества информации существуют?

7. Дайте определение количества информации.

Практическая работа 6 . Решение задач на определение объема информации

Цель работы: приобретение навыка по определению количества информации на основе алфавитного подхода

Краткое теоретическое обоснование:

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.

Алфавит – упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.

Мощность алфавита – количество символов алфавита. Двоичный алфавит содержит 2 символа, его мощность равна двум. Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

1. Определить количество информации (i) в одном символе по формуле

2 i = N, где N - мощность алфавита.

2. Определить количество символов в сообщении (m).

3. Вычислить объем информации по формуле: I = i * K.

Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К:

I = i * К.

Эта величина является информационным объемом текста.

Единицы измерения информации

Основная единица измерения информации –бит. 8 бит составляют 1 байт . Наряду с байтами для измерения количества информации используются более крупные единицы:

1 Кбайт = 2 10 байт = 1024 байта;

1 Мбайт = 2 10 Кбайт = 1024 Кбайт;

1 Гбайт = 2 10 Мбайт = 1024 Мбайт.

1 Терабайт (Тб) = 1024 Гбайт = 2 40 байта,

1 Петабайт (Пб) = 1024 Тбайта = 2 50 байта.

Оборудование: дидактические материалы по теме «Определение количества информации».

Последовательность выполнения:

1. Разберите примеры решения задач и запишите их в тетрадь.

Задача 1. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 32 строки по 64 символа в строке. Какой объем информации содержат 5 страниц этого текста?

Решение:

N=256, => 2 i = 256, => i=8 bit

k=32*64*5 символов

I=i*k=8*32*64*5 bit = 8*32*64*5/8 b = 32*64*5/1024 kb = 10 kb

Задача 2. Можно ли уместить на одну дискету книгу, имеющую 432 страницы, причем на каждой странице этой книги 46 строк, а в каждой строке 62 символа?

Решение :

Т.к. речь идет о книге, напечатанной в электронном виде, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

k = 46*62*432 символов

I = i*k = 8*46*62*432 bit = 8*46*62*432/8 b = 46*62*432/1024 kb = 1203,1875 kb = 1,17 Mb

Т.к. объем дискеты 1,44 Mb, а объем книги 1,17 Mb, то она на дискету уместится.

Задача 3 . Скорость информационного потока – 20 бит/с. Сколько минут потребуется для передачи информации объемом в 10 килобайт.

Решение :

t = I/v = 10 kb/ 20 бит/c = 10*1024 бит/ 20 бит/c = 512 c = 8,5 мин

Задача 4 . Лазерный принтер печатает со скоростью в среднем 7 Кбит в секунду. Сколько времени понадобится для распечатки 12-ти страничного документа, если известно, что на одной странице в среднем по 45 строк, в строке 60 символов.

Решение :

Т.к. речь идет о документе в электронном виде, готовым к печати на принтере, то мы имеем дело с компьютерным языком. Тогда N=256, => 2 i = 256, => i=8 bit

K = 45*60*12 символов

I = i*k = 8*45*60*12 bit = 8*45*60*12/8 b = 45*60*12/1024 kb = 31,6 kb

t = I/v = 31,6 kb/ 7 Кбит/c = 31,6*8 kбит/ 7 Кбит/c = 36 c

Задача 5. Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, из кодировки Unicode, в кодировку КОИ-8. При этом информационное сообщение уменьшилось на 480 бит. Какова длина сообщения?

Решение :

Объем 1 символа вкодировке КОИ-8 равен 1 байту, а в кодировке Unicode – 2 байтам.

Пусть x – длина сообщения, тогда I КОИ-8 = 1*x b, а I Unicode = 2*x b.

Получаем 2*x8 bит – 1*x*8 бит = 480 бит, 8x = 480, х = 60 символов в сообщении.

2. Решите следующие задачи. Результат оформите в тетради.

1. Некоторый алфавит содержит 128 символов. Сообщение содержит 10 символов. Определите объем сообщения.

2. Считая, что один символ кодируется 8-ю битами, оцените информационный объем следующей поговорки в кодировке КОИ-8: Верный друг лучше сотни слуг.

3. Один и тот же текст на русском языке записан в различных кодировках. Текст, записанный в 16-битной кодировке Unicode, на 120 бит больше текста, записанного в 8-битной кодировке КОИ-8. Сколько символов содержит текст?

4. Сколько гигабайт содержит файл объемом 235 бит?

5. Текстовый файл copia.txt имеет объем 40960 байт. Сколько таких файлов можно записать на носитель объемом 5 Мбайт?

6. К текстовому сообщению объемом 46080 байт добавили рисунок объемом 2,5 Мбайт. Сколько кбайт информации содержит полученное сообщение?

7. В алфавите некоторого языка два символа Х и О. Слово состоит из четырех символов, например: ООХО, ХООХ. Укажите максимально возможное количество слов в этом языке.

8. Для записи текста использовался 64-символьный алфавит. Сколько символов в тексте, если его объем равен 8190 бита?

9. Укажите наибольшее натуральное число, которое можно закодировать 8 битами (если все числа кодируется последовательно, начиная с единицы).

10. Некоторый алфавит содержит 2 символа. Сообщение занимает 2 страницы, на каждой по 16 строк, и в каждой строке по 32 символа. Определите объем сообщения.

11. Сколько бит информации содержится в сообщении объемом 1/4 килобайта?

12. Найдите х из следующего соотношения: 8х бит = 16 Мбайт.

13. Цветное растровое графическое изображение с палитрой 256 цветов имеет размер 64х128 пикселей. Какой информационный объем имеет изображение?

14. Для хранения растрового изображения размером 64х128 пикселей отвели 4 Кбайта памяти. Каково максимально возможное количество цветов в палитре изображения?

Контрольные вопросы:

1. Как измеряется информация при содержательном подходе?

2. В чем заключается алфавитный подход к определению количества информации?

3. Что такое алфавит? Что называется мощностью алфавита? Что называется объемом информации?

4. Чему равен информационный вес символа компьютерного алфавита?

6. Почему информационная емкость русской буквы «а» больше информационной ёмкости английской буквы?

7. Какие единицы измерения информации существуют?

Практическая работа7 . Комплексная работа по определению количества информации

Цель работы: контроль навыков определения количества информации.

Краткое теоретическое обоснование: см.практические работы 1-6.

Оборудование: Контрольные материалы из КОС по дисциплине «Основы теории информации»

Последовательность выполнения:

· Выполните ТЗ№1. Тест 3. Единицы измерения информации. В тесте необходимо выбрать только один ответ из предложенных вариантов. Выполнять тест лучше самостоятельно, без применения конспектов, учебников и прочей вспомогательной литературы.

· Выполните ПЗ№2. Задачи 1-10.

По информатике

Количество информации

Введение

2. Неопределенность, количество информации и энтропия

3. Формула Шеннона

4. Формула Хартли

5. Количество информации, получаемой в процессе сообщения

Список использованной литературы

Введение

По определению А.Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

1.Бит

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “орел” или “решка”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.

2.Неопределенность, количество информации и энтропия

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).

Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0).

Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H.

По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

3.Формула Шеннона

В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0 , p 1 , …p N -1 }, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.

Формула Шеннона имеет следующий вид:

(1)

Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Напомним, что такое логарифм.

Логарифм по основанию 2 называется двоичным:

log 2 (8)=3 => 2 3 =8

log 2 (10)=3,32 => 2 3,32 =10

Логарифм по основанию 10 –называется десятичным:

log 10 (100)=2 => 10 2 =100

Основные свойства логарифма:

1. log(1)=0, т.к. любое число в нулевой степени дает 1;

2. log(a b)=b*log(a);

3. log(a*b)=log(a)+log(b);

4. log(a/b)=log(a)-log(b);

5. log(1/b)=0-log(b)=-log(b).

Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма

, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы. интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0 , I 1, … I N -1 }.

Количество информации

Количество информации как мера уменьшения неопределенности знания.
(Содержательный подход к определению количества информации)

Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: "зачет" или "незачет", а после контрольной работы одно из четырех информационных сообщений: "2", "3", "4" или "5".

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N = 2 i

(1.1)

Бит . Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом .

Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.

Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3), "Мега" (10 6), "Гига" (10 9) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

Контрольные вопросы

1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
2. Приведите примеры информационных сообщений, которые несут 1 бит информации.

Определение количества информации

Определение количества информационных сообщений. По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):

Таким образом, количество экзаменационных билетов равно 32.

Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.

Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: "север", "северо-восток", "восток", "юго-восток", "юг", "юго-запад", "запад" и "северо-запад" (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?

Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

8 = 2 × 2 × 2 = 2 3 .

Наше уравнение:

Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.

Алфавитный подход к определению количества информации

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Информационная емкость знака . Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, ..., N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений "1", "2", ..., "N", которое будет нести количество информации I (рис. 1.5).

Рис. 1.5. Передача информации

Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N - это количество знаков в алфавите знаковой системы, а I - количество информации, которое несет каждый знак:

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 бит.

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации "бит" (bit) получила свое название ОТ английского словосочетания "Binary digiT" - "двоичная цифра".

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква "ё").

С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:

N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 битов.

Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации I c в сообщении можно подсчитать, умножив количество информации I з, которое несет один знак, на длину кода (количество знаков в сообщении) К:

I c = I з × K

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).

Таблица 1.1. Количество информации, которое несет двоич ный компьютерный код