Линейные системы преобразования сигналов инвариантные к сдвигу. Сигналы и линейные системы. Импульсная характеристика линейных систем. Устойчивость и физическая реализуемость
40. В толстостенном стальном цилиндре сжимают масло. При большом давлении капельки масла выступают на внешних стенках цилиндра. Чем это можно объяснить?
Молекулы масла проникают между молекулами сосуда на его поверхность (явление диффузии).
41. На фотоснимке видимый диаметр молекулы некоторого вещества равен 0,5 мм. Чему равен действительный диаметр молекулы данного вещества, если фотоснимок получен с помощью электронного микроскопа с увеличением в 200000 раз?
42. Капля масла объемом 0,003 мм3 растеклась по поверхности воды тонким слоем и заняла площадь 300 см2. Принимая толщину слоя равной диаметру молекулы масла, определите этот диаметр.
43. Длина столбика ртути в трубке комнатного термометра увеличилась. Увеличилось ли при этом число молекул ртути? Изменился ли объем каждой молекулы ртути в термометре?
Нет.
44. Можно ли сказать, что объем газа в сосуде равен сумме объемов его молекул?
Нет, большая часть объема газа приходится на промежутки между молекулами.
45. Отличаются ли при одинаковой температуре промежутки между молекулами какого-либо вещества, находящегося в твердом, жидком и газообразном состояниях?
Отличаются.
46. Под действием груза резиновый шнур удлинился. Изменилась ли при этом форма молекул? Ответ поясните.
Форма молекул не изменилась.
47. Под действием груза поршень в цилиндре опустился в положение 2 (рис. 15). Когда же груз удалили, то поршень занял прежнее положение 1. Как при этом изменилось отношение объема воздуха, находящегося под поршнем, к сумме объемов его молекул?
Отношение объема воздуха, к сумме объемов его молекул в положении 1 больше, чем в положении 2.
48. Приведите пример опыта, подтверждающего, что вещество состоит из молекул, разделенных промежутками.
Это подтверждается сжимаемостью газов, жидкостей.
49. Одинаковы ли объемы и состав молекул холодной и горячей воды?
Объем и состав одинаковы.
50. Одинаковы ли объемы и состав молекул у различных веществ?
Объемы и составы различны.
51. Дано отношение произвольного объема воды к сумме объемов молекул этой же воды и отношение такого же объема пара к сумме объемов молекул того же пара. Какое отношение больше?
Отношение объемов для воды меньше этого отношения.
52. Как изменяются промежутки между частицами медной заклепки при нагревании и охлаждении?
При нагревании промежутки между молекулами увеличиваются, а при охлаждении - уменьшаются.
53. Чем объясняется увеличение длины проволоки при ее нагревании?
Увеличением расстояния между ее молекулами.
54. Почему уменьшается длина рельса при его охлаждении?
Расстояние между ее молекулами уменьшается.
55. Зачем на точных измерительных инструментах указывается температура (обычно 20 °С)?
Для учета теплового расширения тел. Измерения будут наиболее точны при указанной температуре.
Рассмотрим подробнее принцип действия простейшего теплового двигателя. Пусть воображаемая машина состоит из цилиндр а, в котором находится идеальный газ, и невесомого теплоизолирующего поршня. Поршень может перемещаться без трения в цилиндре, дно цилиндра хорошо проводит тепло, а стенки теплоизолированы (рис. 28).
В начальном состоянии объем газа в цилиндре его давление равно атмосферному давлению а начальное значение температуры
Используем цилиндр с поршнем для совершения работы А за счет передачи количества тепла газу, заключенному в цилиндре. Для этого поместим на поршень тело массой предварительно приняв меры против сжатия газа в цилиндре под действием давления груза на поршень (например, установив специальные упоры внутри цилиндра, предотвращающие дальнейшее опускание поршня).
Подведем под иилиндр нагреватель, используя, например, газовую горелку. По мере нагревания газа в цилиндре его давление
Рис. 29. Диаграмма рабочего цикла тепловой машины
возрастает, однако объем остается неизменным до тех пор, пока давление не достигнет значения при котором сила давления поршня с грузом на газ уравняется с силой давления газа на поршень. Этому процессу на диаграмме соответствует изохора АВ (рис. 29). Значение температуры в конце изохорического процесса однозначно определяется значениями давления и объема через уравнение состояния идеального газа.
Поскольку при изохорическом процессе не совершается работа, то в соответствии с первым началом термодинамики все сообщенное газу количество тепла израсходовано на увеличение внутренней энергии газа
При дальнейшем нагревании газа поршень придет в движение. Поскольку давление поршня с грузом на газ остается постоянным, расширение происходит по изобарическому закону. Пусть для подъема груза на высоту требуется увеличить объем газа в цилиндре от значения до значения Температура в конце изобарического процесса расширения газа однозначно определяется из уравнения состояния идеального газа значениями объема и давления
Описанному процессу на диаграмме соответствует изобара на рисунке 29.
Когда поршень коснется ограничителя в верхней части цилиндра, т. е. газ расширится до объема прекратим нагревание.
В процессе изобарического расширения газу было сообщено количество тепла которое было израсходовано на совершение работы поднятия груза поршнем и на увеличение внутренней энергии газа т. е.
Работу, совершенную газом при расширении, можно подсчитать:
где - ход поршня.
Казалось бы, цель достигнута, груз поднят. Однако подобная машина одноразового действия не представляет интереса для практики. Для длительного действия машины, т. е. поднятия следующего груза, необходимо опустить поршень, т. е. сжать газ. Но если сжимать газ при температуре до объема то в процессе сжатия давление возрастает. Поэтому работа, совершаемая при сжатии газа, окажется больше работы, совершенной газом при расширении. Следовательно, таким путем не удается осуществить периодический процесс совершения механической работы за счет передачи количества теплоты рабочему телу машины.
Для уменьшения работы, совершаемой при сжатии, газ в цилиндре можно перед сжатием охладить. Тогда сжатие будет происходить при давлении меньшем и работа, совершаемая при сжатии, окажется меньше работы, совершенной газом при расширении.
Снимем груз с поршня и для охлаждения газа направим на дно цилиндра струю холодной воды. Понижение температуры газа будет сопровождаться понижением давления, однако объем будет оставаться неизменным до тех пор, пока давление газа в цилиндре не достигнет значения Этому процессу на диаграмме (рис. 29) соответствует изохора . Температура в конце изохорического процесса однозначно определяется значениями давления и объема
Для возвращения газа в исходное состояние, характеризуемое значениями необходимо продолжить его охлаждение до температуры . Поскольку поршень скользит по стенкам без трения, то уменьшение объема газа до начального значения будет происходить при постоянном давлении пока поршень не коснется нижнего ограничителя и газ не займет первоначальный объем VV Этому процессу на рисунке соответствует изобара
В процессе изохорического охлаждения работа не совершалась, так как поршень был неподвижен. При этом охлаждающая вода получила от газа количество теплоты вследствие чего внутренняя энергия газа уменьшилась на . По первому закону термодинамики
В процессе изобарического сжатия газа охлаждающая вода получила от газа количество тепла над газом была совершена работа сжатия и его внутренняя энергия уменьшилась на . В соответствии с первым законом термодинамики
ts01.doc
Функция единичного скачка или функция Хевисайда иногда называется также функцией включения. Полное математическое выражение функции:
При моделировании сигналов и систем значение функции скачка в точке t=0 очень часто принимают равным 1, если это не имеет принципиального значения.
Функция единичного скачка используется при создании математических моделей сигналов конечной длительности. При умножении любой произвольной функции, в том числе периодической, на прямоугольный импульс, сформированный из двух последовательных функций единичного скачка
S(t) = (t) - (t-T),
Из нее вырезается участок на интервале 0-Т, и обнуляются значения функции за пределами этого интервала.
Функция Кронекера. Для дискретных и цифровых систем разрешающая способность по аргументу сигнала определяется интервалом его дискретизации t. Это позволяет в качестве единичного импульса использовать дискретный интегральный аналог дельта-функции - функцию единичного отсчета (kt-nt), которая равна 1 в координатной точке k = n, и нулю во всех остальных точках. Функция (kt-nt) может быть определена для любых значений t = const, но только для целых значений координат k и n, поскольку других номеров отсчетов в дискретных функциях не существует.
Математические выражения (t-) и (kt-nt) называют также импульсами Дирака и Кронекера. Однако, применяя такую терминологию, не будем забывать, что это не просто единичные импульсы в координатных точках и nt, а полномасштабные импульсные функции, определяющие как значения импульсов в определенных координатных точках, так и нулевые значения по всем остальным координатам, в пределе от - до .
^ 1.3. Системы преобразования сигналов
Сигналы, в любой форме материального представления, содержат определенную полезную информацию. Если при преобразованиях сигналов происходит нарушение заключенной в них информации (частичная утрата, количественное изменение соотношения информационных составляющих или параметров, и т.п.), то такие изменения называются искажениями сигнала. Если полезная информация остается неизменной или адекватной содержанию во входном сигнале, то такие изменения называются преобразованиями сигнала.
Математические преобразования сигналов осуществляются для того, чтобы получить какую-то дополнительную информацию, недоступную в исходном сигнале, или выделить из входного сигнала полезную информацию и сделать ее более доступной для дальнейшей , измерений каких-либо параметров, передаче по каналам связи, и пр. Преобразованный сигнал принято называть трансформантой исходного.
Любые изменения сигналов сопровождаются изменением их спектра, и по характеру этого изменения разделяются на два вида: линейные и нелинейные. К нелинейным относят изменения, при которых в составе спектра сигналов появляются (вводятся) новые гармонические составляющие, отсутствующие во входном сигнале. При линейных изменениях сигналов изменяются амплитуды и/или начальные фазы гармонических составляющих спектра (вплоть до полного подавления в сигнале определенных гармоник). И линейные, и нелинейные изменения сигналов могут происходить как с сохранением полезной информации, так и с ее искажением. Это зависит не только от характера изменения спектра сигналов, но и от спектрального состава самой полезной информации.
Общее понятие систем. Преобразование и обработка сигналов осуществляется в системах. Понятия сигнала и системы неразрывны, так как любой сигнал существует в пределах какой-либо системы. Система обработки сигналов может быть реализована как в материальной форме (специальное устройство, измерительный прибор, совокупность физических объектов с определенной структурой взаимодействия и т.п.), так и программно на ЭВМ или любом другом специализированном вычислительном устройстве. Форма реализации системы существенного значения не имеет, и определяет только ее возможности при анализе и обработке сигналов.
Рис. 1.3.1. Графическое представление системы.
Безотносительно к назначению система всегда имеет вход
, на который подается внешний входной сигнал, в общем случае многомерный, и выход
, с которого снимается обработанный выходной сигнал. Собственно система представляет собой системный оператор
(алгоритм) преобразования входного сигнала s(t) – воздействия
или возбуждения
, в сигнал на выходе системы y(t) – отклик
или выходную реакцию
системы. Символическое обозначение операции преобразования (трансформации сигнала): y(t) = T.
Системный оператор T - это набор правил преобразования (transformation) сигнала s(t) в сигнал y(t). Так, например, в самом простейшем случае таким правилом может быть таблица перекодировки входных сигналов в выходные.
Для детерминированных входных сигналов соотношение между выходными и входными сигналами всегда однозначно задается системным оператором. В случае реализации на входе системы случайного процесса происходит изменение статистических характеристик сигнала (математического ожидания, дисперсии, корреляционной функции и пр.), которое также определяется системным оператором.
Для полного определения системы необходимо задание характера, типа и области допустимых величин входных и выходных сигналов. По типу обработки входных сигналов они обычно подразделяются на системы непрерывного времени для обработки сигналов в процессе измерений, и цифровые системы для обработки данных, зарегистрированных на промежуточных носителях. Совокупность системного оператора Т и областей входных и выходных сигналов образует математическую модель системы.
Линейные и нелинейные системы составляют два основных класса систем обработки сигналов.
Термин линейности (linear) означает, что система преобразования сигналов должна иметь произвольную, но в обязательном порядке линейную связь между входным сигналом (возбуждением) и выходным сигналом (откликом) с определенным изменением спектрального состава входного сигнала (усиление или подавление определенных частотных составляющих сигнала). В нелинейных (nonlinear) системах связь между входным и выходным сигналом определяется произвольным нелинейным законом с дополнением частотного состава входного сигнала частотными составляющими, отсутствующими во входном сигнале.
Стационарные и нестационарные системы. Система считается стационарной и имеет постоянные параметры , если ее свойства (математический алгоритм оператора преобразования) в пределах заданной точности не зависят от входного и выходного сигналов и не изменяются ни во времени, ни от каких-либо других внешних факторов. В противном случае система является нестационарной, и называется параметрической или системой с переменными параметрами . Среди последних большое значение имеют так называемые адаптивные системы обработки данных. В этих системах производится, например, оценивание определенных параметров входных и выходных сигналов, по результатам сравнения которых осуществляется подстройка параметров преобразования (переходной характеристики системы) таким образом, чтобы обеспечить оптимальные по производительности условия обработки сигналов или минимизировать погрешность обработки.
Основные системные операции. К базовым линейным операциям, из которых могут быть сформированы любые линейные операторы преобразования, относятся операции скалярного умножения, сдвига и сложения сигналов:
Y(t) = c s(t), y(t) = s(t-t), y(t) = a(t)+b(t).
Для нелинейных систем выделим важный тип безинерционных операций нелинейной трансформации сигнала, результаты которой зависят только от его входных значений. К ним относятся, например, операции квадратирования и логарифмирования сигнала:
Y(t) = 2 , y(t) = log.
Линейные системы. Система считается линейной, если ее реакция на входные сигналы аддитивна (выполняется принцип суперпозиции сигналов) и однородна (выполняется принцип пропорционального подобия). Другими словами, отклик линейной системы на взвешенную сумму входных сигналов должен быть равен взвешенной сумме откликов на отдельные входные сигналы независимо от их количества и для любых весовых коэффициентов , в том числе комплексных.
При программной реализации линейных систем на ЭВМ особых затруднений с обеспечением линейности в разумных пределах значений входных и выходных сигналов, как правило, не возникает. При физической (аппаратной) реализации систем обработки данных диапазон входных и выходных сигналов, в котором обеспечивается линейность преобразования сигналов, всегда ограничен и должен быть специально оговорен.
Инвариантность систем к сдвигу. Система называется инвариантной к сдвигу, если сдвиг входного сигнала по аргументам (времени, координатам пространства и т.п.) вызывает соответствующий сдвиг выходного сигнала:
Y(x,t) = T, T = y(x-x,t-t).
Это означает, что форма выходного сигнала зависит только от входного сигнала, и не зависит от времени поступления сигнала на вход системы. Инвариантность системы к сдвигу является одним из подтверждений постоянства ее параметров.
Линейные системы, инвариантные к сдвигу. Линейность и инвариантность к сдвигу являются независимыми свойствами систем и не определяют друг друга. Так, например, операция квадратирования сигнала инвариантна к сдвигу, но нелинейна.
В теории анализа и обработки данных основное место занимают системы, линейные и инвариантные к сдвигу (ЛИС - системы). Они обладают достаточно широкими практическими возможностями при относительной простоте математического аппарата. В дальнейшем, если это специально не оговаривается, будем иметь в виду именно такие системы.
Преимущество, которое отдается ЛИС - системам в методах обработки информации, базируется на возможности разложения входного сигнала любой, сколь угодно сложной формы, на составляющие простейших форм, отклик системы на которые известен и хорошо изучен, с последующим вычислением выходного сигнала в виде суммы откликов на все составляющие входного сигнала. В качестве простейших форм разложения сигналов используются, как правило, единичные импульсы и гармонические составляющие. Разложение по единичным импульсам применяется при динамическом представлении сигнала в зависимости от реальных физических аргументов (времени, координат и пр.) и использует операцию свертки. Разложение на гармонические составляющие использует спектральное (частотное) представление сигнала и преобразование Фурье.
Рис. 1.3.2 Соединения систем.
Соединения ЛИС - систем
.
При последовательном (каскадном) соединении систем выходной сигнал одной системы служит входным сигналом для второй и т.д. в зависимости от количества составляющих систем каскада. По отношению к общей системной операции преобразования порядок соединения входящих в нее систем значения не имеет. Так, для двух последовательно соединенных систем на рис. 1.3.2:
Y(t) = T 2 ] = T 1 ].
При параллельном соединении входной сигнал поступает одновременно на входы всех составляющих систем, а выходные сигналы систем суммируются:
Y(t) = T 1 + T 2 + ... + T N .
Образуемые в результате соединений системы в целом также являются ЛИС - системами, если линейны и инвариантны к сдвигу системы, в них входящие.
Обобщенная схема системы цифровой обработки сигналов на рис. 1.3.3 приведена в качестве примера.
Рис. 1.3.3. Структурная схема системы дифференцирования сигналов.
^ 1.4. информационная емкость сигналов
Объем информации, находящейся в обращении и необходимой для функционирования и развития современного общества, нарастает примерно пропорционально квадрату развития производительных сил. В передовых по научно-техническому развитию странах мира доля рабочей силы, занятой вопросами сбора, обработки и обеспечения информацией, превышает долю рабочей силы в сфере производства. Применение методов и средств автоматизации на всех этапах обращения информации, эффективная организация ее хранения, обработки и обмена, приобретают все большее значение в качестве основного условия успешного функционирования экономики стран.
Понятие информации. В настоящее время нет общепринятого и однозначного понимания термина "Информация". Спектр бытующих понятий весьма широк, от общего философского - информация есть отражение реального мира, до практического - информация есть сведения, являющиеся объектом хранения, передачи и преобразования. Расхождения существуют и по вопросу места информации в материальном мире. Это свойство индивидуальных объектов или результат их взаимодействия? Присуща ли информация всем видам материи или лишь определенным образом организованной материи?
В информатике под информацией понимается, как правило, совокупность сведений смыслового содержания, которые можно собирать, обрабатывать, передавать и т.п. Причем именно сведений в изначальном смысле латинского слова informatio, а не данных или сигналов, которые являются носителями этих сведений. В таком понимании процессы извлечения сведений из данных и их интерпретации неразрывно связаны с разумом, а конечным результатом обработки и восприятия информации с помощью разума является раскрытие неопределенности знаний о каком-либо объекте, явлении или процессе. Но при таком подходе размывается само понятие разума.
С одной стороны, существование любого живого существа поддерживается до тех пор, пока действуют его органы чувств (датчики), преобразующие физические воздействия окружающего мира в сигналы, которые в материальной форме отображают данные об этих воздействиях. Данные собираются и интерпретируются определенной системой, которую в самой общей форме мы называем "разумом", из общей суммы данных извлекаются определенные сведения, степень неопределенности сведений об окружающей обстановке снижается, и... лиса распутывает заячий след. Живое существо существует до тех пор, пока способно воспринимать и обрабатывать внешние и внутренние воздействия. Нет сомнений и в том, что в коллективных сообществах его члены не только способны собирать и обрабатывать информацию, но и передавать ее другим членам сообщества, как, например, в пчелиной семье точный путь до продуктивного цветочного массива. Информационный танец пчелы в этом отношении по компактности содержания ничем не уступает телеграфному сообщению. Естественно, в принятой у пчел символьной форме.
С другой стороны, если информация неразрывно связана с "разумом", то в этом случае нельзя отказать в "разуме" и электронной вычислительной машине, обыгрывающей в шахматы чемпиона мира, а равно и любым устройствам технической кибернетики, так как все они имеют системы сбора, передачи, накопления, хранения и обработки информации той или иной степени сложности, и на основе этой информации способны формировать сигналы обратной связи для управления определенными процессами.
В технических отраслях знаний, где вопросы соотношения информации с разумом не стоят на первом месте, преобладает понимание информации в виде отображения такого всеобщего свойства материи, как разнообразие, как характеристики внутренней организованности материальных систем, процессов или явлений по множеству состояний, которые для них возможны. В такой трактовке информация существует независимо от того, воспринимается она каким-либо "разумом" или нет, и является одним из свойств материальных объектов. "Информация есть информация, а не материя и не энергия" (Норберт Винер). Это свойство в какой-то мере имеет потенциальный характер. Информация может проявлять себя при взаимодействии объектов или процессов, может возникать (создаваться) и исчезать (уничтожаться).
Но и в такой трактовке возникает много вопросов, на которые трудно дать однозначные ответы. Насекомое третичного периода, неизвестное в настоящее время ученым, прилипло к капле смолы хвойного дерева. Новый слой смолы закрыл насекомое. Дерево упало, и его занесло песком. Смола превратилась в янтарь. Янтарь в потенциале содержит полную информацию о насекомом, потому как в нем десятки тысяч фрагментов ДНК - информация, достаточная для восстановления ДНК и воспроизводства насекомого, если не в настоящее время, то в ближайшем будущем. Но когда она возникла? В момент появления насекомого с его ДНК? В момент прилипания к смоле? В момент окаменения? Можно ли говорить о появлении информации, если еще не существовал субъект, способный извлечь и использовать эту информацию? Наконец, янтарь с насекомым найден и попал на глаза палеонтолога. Определен новый вид насекомого. Появилась первая частичная информация? Так может быть, информация появляется только при активном и целенаправленном воздействии на объект исследований? А если янтарь оказался непрозрачным, и его переплавили? Исчезла ли информация? И можно ли считать, что она вообще была?
Ответы на эти и подобные им вопросы тяготеют к двум полюсам, а по существу, к двум диаметрально противоположным философским позициям.
Сторонники первой позиции понимают под информацией только то, что может восприниматься, обрабатываться, осмысливаться и использоваться, т.е. является продуктом процесса сбора, организации, систематизации и использования сведений о материальных объектах и процессах.
Противоположная позиция, это понятие информации как свойства объектов и процессов воспринимать и перерабатывать внутреннее состояние и внешнее воздействие окружающей среды, сохранять его результаты и передавать их другим объектам. С этой позиции все материальные объекты и процессы являются источниками, носителями и потребителями информации, на основе которой и идет развитие реального мира. По существу, это соответствует принятию материальности информации и информационной основы мироздания.
При неопределенности самого понятия информации можно достаточно обоснованно считать, что информация проявляется, хранится и передается от одного объекта к другому в материально - энергетической форме в виде сигналов. Сигналом, как материальным носителем информации, может быть любой физический процесс (электрический, магнитный, оптический, акустический и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.) однозначно отображают информационные данные (сообщения).
Количественная мера информации. Теория любого явления начинается с появления количественных взаимоотношений между объектами исследований, т.е. при установлении принципов измеряемости каких-либо свойств объектов. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:
H = log 2 N. (1.4.1)
Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.
Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?
H = log 2 N = log 2 16 = 4.
Следовательно, 4 бита информации необходимы и достаточны для полного снятия неопределенности выбора. В этом можно убедиться применением логики исчисления с последовательным делением пополам интервалов состояний. Например, для 9-го этажа:
1. Выше 7-го этажа? Да = 1. 2. Выше 11-го этажа? Нет = 0.
3. Выше 9-го этажа? Нет = 0. 4. Выше 8-го этажа? Да = 1.
Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.
Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два источника неопределенности) будем иметь сквозную нумерацию квартир (обобщенный источник):
H = log 2 N + log 2 M = log 2 16 + log 2 4 = 6 log 2 (N M) = log 2 64 = 6,
Т.е. количество информации отвечает требованию аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.
Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероятных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой) из 27 внешне неотличимых монет потребуется только H = log 3 27 = 3, т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.
Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.
Энтропия источника информации. Степень неопределенности состояния объекта (или так называемого источника информации) зависит не только от числа его возможных состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора для источника ограничивается. Так, если из двух возможных состояний вероятность одного из них равна 0.999, то вероятность другого состояния соответственно равна 1-0.999 = 0.001, и при взаимодействии с таким источником результат практически предрешен.
В общем случае, в соответствии с теорией вероятностей, источник информации однозначно и полно характеризуется ансамблем состояний U = {u 1 , u 2 ,..., u N } с вероятностями состояний соответственно {р(u 1), р(u 2),..., р(u N)} при условии, что сумма вероятностей всех состояний равна 1. Мера количества информации, как неопределенности выбора дискретным источником состояния из ансамбля U, предложена К. Шенноном в 1946 году и получила название энтропии дискретного источника информации или энтропии конечного ансамбля:
H(U) = -
p n log 2 p n . (1.4.2)
Выражение Шеннона совпадает с выражением Больцмана для энтропии физических систем при оценке степени разнообразия их состояний. Мера энтропии Шеннона является обобщением меры Хартли на случай ансамблей с неравновероятными состояниями, в чем нетрудно убедиться, если в выражении (1.4.2) значение p n заменить значением p=1/N для ансамбля равновероятных состояний. Энтропия конечного ансамбля H(U) характеризует неопределенность, приходящуюся в среднем на одно состояние ансамбля.
Учитывая, что в дальнейшем во всех математических выражениях, касающихся энтропии, мы будем использовать только двоичное основание логарифма, индекс 2 основания логарифма в формулах будем подразумевать по умолчанию.
| u i | p i | u i | p i | u i | p i | u i | p i | u i | p i |
| а | .064 | з | .015 | о | .096 | х | .009 | э | .003 |
| б | .015 | и | .064 | п | .024 | ц | .004 | ю | .007 |
| в | .039 | й | .010 | р | .041 | ч | .013 | я | .019 |
| г | .014 | к | .029 | с | .047 | ш | .006 | - | .124 |
| д | .026 | л | .036 | т | .056 | щ | .003 | ||
| е,ё | .074 | м | .026 | у | .021 | ъ,ь | .015 | ||
| ж | .008 | н | .056 | ф | .020 | ы | .016 |
Неопределенность на одну букву при равновероятности использования:
H(u) = log 32 = 5
Энтропия алфавита по ансамблю таблицы:
H(u) = - 0.064 log 0.064 - 0.015 log 0.015 - . . . . . . . . . . . . . . . . . . - 0.143 log 0.143 4.42.
Таким образом, неравновероятность состояний снижает энтропию источника.
Основные свойства энтропии:
1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей p n находятся в интервале 0-1, значения log p n всегда отрицательны, а значения -p n log p n в (1.4.2) соответственно положительны.
2. Энтропия - величина ограниченная, т.к. при p n 0 значение -p n log p n также стремится к нулю, а при 0 < p n 1 ограниченность суммы всех слагаемых очевидна.
3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).
4. Энтропия максимальна при равной вероятности всех состояний источника информации:
H ma x (U) = -(1/N) log (1/N) = log N.
Рис. 1.4.1.
5. Энтропия источника с двумя состояниями u 1 и u 2 при изменении соотношения их вероятностей p(u 1)=p и p(u 2)=1-p определяется выражением:
H(U) = -,
И изменяется от 0 до 1, достигая максимума при равенстве вероятностей. График изменения энтропии приведен на рис. 1.4.1.
6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.
Рассмотрим это свойство на двух источниках информации u и v. При объединении источников получаем обобщенный источник информации (u,v), который описывается вероятностями p(u n v m) всех возможных комбинаций состояний u n источника u и v m источника v. Энтропия объединенного источника при N возможных состояниях источника u и М возможных состояниях источника v:
H(UV) = -
p(u n v m) log p(u n v m),
Источники статистически независимы друг от друга, если выполняется условие:
P(u n v m) = p(u n)p(v m).
С использованием этого условия соответственно имеем:
H(UV) = -p(u n)p(v m) log =
P(u n) log p(u n)p(v m) -p(v m) log p(v m)p(u m).
С учетом того, что p(u n) = 1 иp(v m) = 1, получаем:
H(UV) = H(U) + H(V). (1.4.3)
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, игнорируя содержательную сторону ансамбля. Это расширяет возможности использования энтропии при анализе самых различных явлений, но требует определенной дополнительной оценки возникающих ситуаций. Как следует из рис. 1.4.1, энтропия состояний может быть неоднозначной, и если в каком-либо экономическом начинании действие u с вероятностью p u =p приводит к успеху, а действие v с вероятностью p v =1-p к банкротству, то выбор действий по оценке энтропии может оказаться и прямо противоположным, т.к. энтропия при p v =p равна энтропии при p u =p.
Для облегчения изучения многомерных систем необходимо ограничиться определенными классами операторов, обладающих общими свойствами. Линейные инвариантные к сдвигу дискретные системы (ЛИС-системы) - это наиболее часто изучаемый класс систем для обработки дискретных сигналов любой размерности. Эти системы отличаются простотой как при разработке, так и при анализе, но в то же время они обладают достаточными возможностями для решения многих практических задач. Поведение этих систем во многих случаях можно изучать безотносительно к конкретным характеристикам входного сигнала. Класс линейных инвариантных к сдвигу систем, безусловно, не является наиболее общим классом изучаемых систем, однако он может служить хорошей отправной точкой.
Ранее мы получили выражение (1.29) для выходной последовательности линейной системы при входном сигнале . Если система еще и инварианта к сдвигу, можно сделать дальнейшие упрощения. Импульсный отклик на произвольно расположенный входной импульс описывается выражением
Для частного случая имеем
Используя принцип инвариантности к сдвигу, описываемый равенством (1.30), получим
Импульсный
отклик на произвольно расположенный входной импульс равен сдвинутому
импульсному отклику на входной импульс, расположенный в начале координат. Введя
обозначение 
,
можно выразить выходную последовательность следующим образом:
. (1.36)
Это соотношение известно под названием двумерной дискретной свертки. В сущности здесь выполняется разложение входной последовательности на взвешенную сумму сдвинутых импульсов в соответствии с равенством (1.25). ЛИС-система преобразует каждый импульс в сдвинутую копию импульсного отклика . Суперпозиция этих взвешенных и сдвинутых импульсных откликов образует выходную последовательность, причем весовыми коэффициентами являются значения отсчетов входной последовательности . Равенство (1.36) записано в предположении, что ЛИС-система полностью характеризуется своим импульсным откликом .
Выполнив замену переменных и , равенство (1.36) можно записать в другой форме:
. (1.37)
Отсюда видно, что свертка - это коммутативная операция. Будем использовать двойную звездочку для обозначения двумерной свертки [одиночная звездочка будет обозначать одномерную свертку]. Тогда уравнения (1.36) и (1.37) примут вид
. (1.38)
С помощью векторных обозначений выходную последовательность -мерной ЛИС-системы можно представить как -мерную свертку выходной последовательности и импульсного отклика
. (1.39)
Двумерная свертка принципиально
не отличается от ее одномерного аналога. Как и в одномерном случае, возможна
следующая вычислительная интерпретация операции свертки. Будем рассматривать и 
как функции и . Чтобы из последовательности образовать
последовательность ,
сначала выполняем отражение относительно обеих осей и , а затем сдвигаем
последовательность так, чтобы отсчет попал в точку , как показано на рис. 1.11.
Последовательность-произведение образована; для нахождения значения
выходного отсчета складываем
ненулевые значения отсчетов последовательности-произведения. При изменении
значений и последовательность сдвигается по
плоскости ,
давая другие последовательности-произведения и соответственно другие значения
выходных отсчетов. Если используется другая возможная форма записи дискретной
свертки [выражение (1.37)], в приведенном описании вычислений и меняются местами.
Рис. 1.11. a - последовательность
; б -
последовательность при
, .
Пример 1
Рассмотрим двумерную дискретную ЛИС-систему, выходной отсчет которой в точке характеризует вклад значений входных отсчетов, расположенных в точках ниже и левее точки . Грубо говоря, система представляет собой один из видов двумерного цифрового интегратора; ее импульсный отклик - это двумерная единичная ступенчатая последовательность , описанная в разд. 1.1.1.
В качестве входной последовательности выберем двумерную последовательность конечной протяженности, значения отсчетов которой равны 1 внутри прямоугольной области , и 0 вне ее.
Для вычисления значения выходного
отсчета с
помощью выражения (1.36) образуем последовательность-произведение . В зависимости от
конкретного значения ненулевые
области последовательностей и перекрываются в различной степени. Можно
выделить пять случаев, представленных на рис. 1.12, где ненулевые области
каждой последовательности заштрихованы, а нулевые отсчеты просто не показаны.
Рис. 1.12. Свертка квадратного импульса с двумерной ступенчатой последовательностью.
Ненулевые области каждой последовательности отмечены одной штриховкой; последовательность-произведение отлична от нуля лишь в областях с двойной штриховкой.
Случай 1. или . Из рис. 1.12 видно, что для
таких значений последовательности
и не перекрываются.
Поэтому их произведение, как и значения таких отсчетов свертки, равны нулю.
Случай 2. , . Имеет место частичное перекрытие. Вклад ненулевых значений отсчетов в последовательность-произведение имеет вид
. (1.40)
Случай 3. , . Здесь можно написать
. (1.41)
Случай 4. , . По аналогии со случаем 3 имеем
. (1.42)
Случай 5. , . В этом последнем случае отраженная
сдвинутая ступенчатая последовательность полностью перекрывает импульс . Тогда
. (1.43)
В итоге полная свертка имеет вид
. (1.44)
Ее графическое изображение приведено на рис. 1.13.
Рис. 1.13. Свертка двух последовательностей, рассмотренная в примере 1.
Можно заметить, что в рассмотренном примере и , и представляют собой разделимые последовательности, поэтому их свертка также разделима, поскольку мы можем написать
Это свойство обладает общностью: свертка двух разделимых последовательностей всегда разделима (упр. 1.9).. На рис. 1.14,в показано перекрытие для точки и равны 1 в своих опорных областях (рис. 1.14, а и б).
В этом разделе мы рассмотрели два относительно простых примера выполнения двумерной свертки. Читатель, несомненно, заметил, что эти вычисления требуют определенных усилий. К счастью, такого рода вычисления редко приходится выполнять вручную. Однако знакомство с основными операциями необходимо для написания соответствующих машинных программ и для интерпретации результатов. Действительно, невозможно правильно выполнить операцию двумерной свертки, не определив предварительно все случаи, требующие рассмотрения. Это всегда должно быть первым шагом при выполнении свертки.
Функция Кронекера. Для дискретных и цифровых систем разрешающая способность по аргументу сигнала определяется интервалом его дискретизации Dt. Это позволяет в качестве единичного импульса использовать дискретный интегральный аналог дельта-функции - функцию единичного отсчета d(kDt-nDt), которая равна 1 в координатной точке k = n, и нулю во всех остальных точках. Функция d(kDt-nDt) может быть определена для любых значений Dt = const, но только для целых значений координат k и n, поскольку других номеров отсчетов в дискретных функциях не существует.
Математические выражения d(t-t) и d(kDt-nDt) называют также импульсами Дирака и Кронекера. Однако, применяя такую терминологию, не будем забывать, что это не просто единичные импульсы в координатных точках t и nDt, а полномасштабные импульсные функции, определяющие как значения импульсов в определенных координатных точках, так и нулевые значения по всем остальным координатам, в пределе от -¥ до ¥.
1.3. Системы преобразования сигналов
Сигналы, в любой форме материального представления, содержат определенную полезную информацию. Если при преобразованиях сигналов происходит нарушение заключенной в них информации (частичная утрата, количественное изменение соотношения информационных составляющих или параметров, и т. п.), то такие изменения называются искажениями сигнала. Если полезная информация остается неизменной или адекватной содержанию во входном сигнале, то такие изменения называются преобразованиями сигнала.
Математические преобразования сигналов осуществляются для того, чтобы получить какую-то дополнительную информацию, недоступную в исходном сигнале, или выделить из входного сигнала полезную информацию и сделать ее более доступной для дальнейшей обработки, измерений каких-либо параметров, передаче по каналам связи, и пр. Преобразованный сигнал принято называть трансформантой исходного.
Любые изменения сигналов сопровождаются изменением их спектра, и по характеру этого изменения разделяются на два вида: линейные и нелинейные. К нелинейным относят изменения, при которых в составе спектра сигналов появляются (вводятся) новые гармонические составляющие, отсутствующие во входном сигнале. При линейных изменениях сигналов изменяются амплитуды и/или начальные фазы гармонических составляющих спектра (вплоть до полного подавления в сигнале определенных гармоник). И линейные, и нелинейные изменения сигналов могут происходить как с сохранением полезной информации, так и с ее искажением. Это зависит не только от характера изменения спектра сигналов, но и от спектрального состава самой полезной информации.
Общее понятие систем. Преобразование и обработка сигналов осуществляется в системах. Понятия сигнала и системы неразрывны, так как любой сигнал существует в пределах какой-либо системы. Система обработки сигналов может быть реализована как в материальной форме (специальное устройство, измерительный прибор, совокупность физических объектов с определенной структурой взаимодействия и т. п.), так и программно на ЭВМ или любом другом специализированном вычислительном устройстве. Форма реализации системы существенного значения не имеет, и определяет только ее возможности при анализе и обработке сигналов.
Безотносительно к назначению система всегда имеет вход , на который подается внешний входной сигнал, в общем случае многомерный, и выход , с которого снимается обработанный выходной сигнал. Собственно система представляет собой системный оператор (алгоритм) преобразования входного сигнала s(t) – воздействия или возбуждения , в сигнал на выходе системы y(t) – отклик или выходную реакцию системы. Символическое обозначение операции преобразования (трансформации сигнала): y(t) = T.
Системный оператор T - это набор правил преобразования (transformation) сигнала s(t) в сигнал y(t). Так, например, в самом простейшем случае таким правилом может быть таблица перекодировки входных сигналов в выходные.
Для детерминированных входных сигналов соотношение между выходными и входными сигналами всегда однозначно задается системным оператором. В случае реализации на входе системы случайного процесса происходит изменение статистических характеристик сигнала (математического ожидания, дисперсии, корреляционной функции и пр.), которое также определяется системным оператором.
Для полного определения системы необходимо задание характера, типа и области допустимых величин входных и выходных сигналов. По типу обработки входных сигналов они обычно подразделяются на системы непрерывного времени для обработки сигналов в процессе измерений, и цифровые системы для обработки данных, зарегистрированных на промежуточных носителях. Совокупность системного оператора Т и областей входных и выходных сигналов образует математическую модель системы.
Линейные и нелинейные системы составляют два основных класса систем обработки сигналов.
Термин линейности (linear) означает, что система преобразования сигналов должна иметь произвольную, но в обязательном порядке линейную связь между входным сигналом (возбуждением) и выходным сигналом (откликом) с определенным изменением спектрального состава входного сигнала (усиление или подавление определенных частотных составляющих сигнала). В нелинейных (nonlinear) системах связь между входным и выходным сигналом определяется произвольным нелинейным законом с дополнением частотного состава входного сигнала частотными составляющими, отсутствующими во входном сигнале.
Стационарные и нестационарные системы. Система считается стационарной и имеет постоянные параметры , если ее свойства (математический алгоритм оператора преобразования) в пределах заданной точности не зависят от входного и выходного сигналов и не изменяются ни во времени, ни от каких-либо других внешних факторов. В противном случае система является нестационарной, и называется параметрической или системой с переменными параметрами . Среди последних большое значение имеют так называемые адаптивные системы обработки данных. В этих системах производится, например, оценивание определенных параметров входных и выходных сигналов, по результатам сравнения которых осуществляется подстройка параметров преобразования (переходной характеристики системы) таким образом, чтобы обеспечить оптимальные по производительности условия обработки сигналов или минимизировать погрешность обработки.
Основные системные операции. К базовым линейным операциям, из которых могут быть сформированы любые линейные операторы преобразования, относятся операции скалярного умножения, сдвига и сложения сигналов:
y(t) = c ´ s(t), y(t) = s(t-Dt), y(t) = a(t)+b(t).
Для нелинейных систем выделим важный тип безинерционных операций нелинейной трансформации сигнала, результаты которой зависят только от его входных значений. К ним относятся, например, операции квадратирования и логарифмирования сигнала:
y(t) = 2, y(t) = log.
Линейные системы. Система считается линейной, если ее реакция на входные сигналы аддитивна (выполняется принцип суперпозиции сигналов) и однородна (выполняется принцип пропорционального подобия). Другими словами, отклик линейной системы на взвешенную сумму входных сигналов должен быть равен взвешенной сумме откликов на отдельные входные сигналы независимо от их количества и для любых весовых коэффициентов , в том числе комплексных.
При программной реализации линейных систем на ЭВМ особых затруднений с обеспечением линейности в разумных пределах значений входных и выходных сигналов, как правило, не возникает. При физической (аппаратной) реализации систем обработки данных диапазон входных и выходных сигналов, в котором обеспечивается линейность преобразования сигналов, всегда ограничен и должен быть специально оговорен.
Инвариантность систем к сдвигу. Система называется инвариантной к сдвигу, если сдвиг входного сигнала по аргументам (времени, координатам пространства и т. п.) вызывает соответствующий сдвиг выходного сигнала:
y(x, t) = T, T = y(x-Dx, t-Dt).
Это означает, что форма выходного сигнала зависит только от входного сигнала, и не зависит от времени поступления сигнала на вход системы. Инвариантность системы к сдвигу является одним из подтверждений постоянства ее параметров.
Линейные системы, инвариантные к сдвигу. Линейность и инвариантность к сдвигу являются независимыми свойствами систем и не определяют друг друга. Так, например, операция квадратирования сигнала инвариантна к сдвигу, но нелинейна.
В теории анализа и обработки данных основное место занимают системы, линейные и инвариантные к сдвигу (ЛИС - системы). Они обладают достаточно широкими практическими возможностями при относительной простоте математического аппарата. В дальнейшем, если это специально не оговаривается, будем иметь в виду именно такие системы.
Преимущество, которое отдается ЛИС - системам в методах обработки информации , базируется на возможности разложения входного сигнала любой, сколь угодно сложной формы, на составляющие простейших форм, отклик системы на которые известен и хорошо изучен, с последующим вычислением выходного сигнала в виде суммы откликов на все составляющие входного сигнала. В качестве простейших форм разложения сигналов используются, как правило, единичные импульсы и гармонические составляющие. Разложение по единичным импульсам применяется при динамическом представлении сигнала в зависимости от реальных физических аргументов (времени, координат и пр.) и использует операцию свертки. Разложение на гармонические составляющие использует спектральное (частотное) представление сигнала и преобразование Фурье.
Рис. 1.3.2 Соединения систем. |
Соединения ЛИС - систем . При последовательном (каскадном) соединении систем выходной сигнал одной системы служит входным сигналом для второй и т. д. в зависимости от количества составляющих систем каскада. По отношению к общей системной операции преобразования порядок соединения входящих в нее систем значения не имеет. Так, для двух последовательно соединенных систем на рис. 1.3.2.
