Методы повышения валидации и доверия к модели. Адекватность имитационных моделей. Валидация выходных данных всей имитационной модели

Цель работы – изучить методы проверки соответствия разработанной имитационной модели реальной системе.

В ходе выполнения лабораторной работы студент должен научится проводить верификацию имитационной модели путем построения логической блок-схемы и интерактивного контроля за ходом моделирования при помощи встроенной в специализированный язык GPSS/H программы отладки; проверять правильность построения концептуальной модели в компьютере; проводить валидацию имитационной модели путем сопоставления результатов экспериментов с результатами аналитических расчетов.

Примечание

Предполагается, что студент, знаком с теорией систем массового обслуживания и основами моделирования систем на специализированном языке GPSS/H.

2. Теоретические положения

2.1. Верификация и валидация имитационных моделей

Если модель неправильно отображает динамику системы, то, очевидно, что и полученные с ее помощью результаты будут неправильными. Поэтому одной из главных проблем при моделировании является проверка соответствия разработанной модели реальной системе. В России подобную проверку называют адекватностью, а за рубежом — делят на верификацию и валидацию.

Верификация — это проверка правильности построения концептуальной модели в компьютере. Она используется при сравнении концептуальной модели с ее компьютерным представлением и отвечает на вопросы: правильно ли модель выполняется на компьютере? Правильно ли представлены входные параметры и логическая структура модели?

Для верификации используют методы:

1. Проверка корректности результатов на «крайние» значения. При этом:

— задают нулевые значения входных параметров модели и анализируют результаты. Если результаты не нулевые, то проверяют и уточняют модель;

— задают значения входных параметров модели, которых не может быть в реальной системе, и по результатам моделирования оценивают правильность реакции модели;

— проводят длительное моделирование и оценивают результаты. При этом выявляют ошибки и подозрения: загрузка обслуживающих приборов нулевая; число вхождений заявок в прибор не нулевое, а загрузка прибора равна нулю; число входов в очередь равно ее текущему содержимому.

2. Аналитический подсчет характеристик и сравнение их с модельными результатами. За длительный прогон вручную подсчитывают использование прибора и сравнивают расчетное значение с результатами моделирования. Но есть характеристики, которые невозможно посчитать аналитически, например, среднее время обслуживания заявки. Тем не менее, параметры в модели взаимосвязаны и проверка одной характеристики повышает доверие (или не доверие) к другим параметрам и модели в целом, даже если точные связи между характеристиками неизвестны и изменяются от прогона к прогону.

3. Построение логической блок-схемы и интерактивный контроль за ходом моделирования при помощи программ отладки. Составляют простую логическую блок-схему для какого-либо узла модели. Например, для одноканальной СМО можно составить блок схему, изображенную.

Затем, используя встроенные в пакеты имитационного моделирования программы отладки проверяют, соответствует ли логика работы модели построенной блок-схеме. При этом используют:

— прогон до определенного времени или события и вывод информации за данный период времени;

— приостановку моделирования по значению текущей величины переменной выделенного компонента модели (очереди, прибора, счетчика, атрибута).

4. Использование имитационного следа. Имитационный след это детальная распечатка изменений модели в течение времени. Его разрабатывают специально для использования в имитационных программах. Он позволяет просматривать величину выбранных переменных в каждый момент приращения времени (от события к событию). При анализе такого имитационного следа можно выявить ошибки и несоответствия модели реальной системе.

5. Документирование модели и проверка лицом не участвующим в разработке модели. Этим методом часто пренебрегают. Но если разработчик модели пишет краткие комментарии в компьютерной модели, проводит определение всех переменных и параметров и делает пометки главных модулей модели, это значительно облегчает кому-либо и самому разработчику модели проверить ее логику.

6. Проверка по анимации. В последнее время программное обеспечение для имитационного моделирования соединяют с программами компьютерной анимации. Анимация позволяет проследить работу модели, выводя на монитор динамику работы ее элементов в виде графических аналогов реальной системы. При помощи анимации выделяют характерные виды ошибок: несвоевременное движение, исчезновение или наложение объектов, отображающих пакеты данных, машины, людей и т.д.

Валидация — проверка является ли модель, допустимым представлением реальной системы. Цель валидации – двойная, во-первых, создать модель, которая представляет поведение реальной системы как можно более полно. Во вторых, увеличить приемлемый уровень достоверности модели, чтобы модель можно было использовать для анализа системы и принятия решений.

Вообще нет общепринятых количественных оценок валидации моделей. Большинство авторов считают, что если отклонение результатов моделирования от показателей реальной системы или определенных другим методом не превышает 7-10%, то модель считается валидной.

Хотя верификация и валидация концептуально различны, обычно они проводятся одновременно. Некоторые методы даже идентичны (например, проверка модели по анимации, создание имитационного следа).

Валидация - процесс проверки того, что модель является достаточно точным описанием системы для целей конкретного исследования

Валидация имеет смысл только когда определены цели исследования

*Валидация модели существующей системы обычно проще, чем валидация модели проектируемой системы

*Не стоит откладывать валидацию на самый конец работ

*Если старая модель используется с новой целью, то валидацию нужно повторить

Методы валидации концептуальной модели

*Определить цели исследования

*Описать концептуальную модель («Допущения» - “Assumptions”)

*Привлечь экспертов в предметной области к [формальной] проверке концептуальной модели (“face validation” и трассировка)

Методы валидации данных

*Анализ чувствительности результатов моделирования к вариациям входных данных

*Статистические тесты для эмпирических распределений вероятности

*Проверки на непротиворечивость

Методы повышения достоверности

*Постоянное взаимодействие с пользователями, подробное объяснение и согласование предположений, заложенных в модель

*Демонстрация того, что модель валидирована и верифицирована. Независимая валидация, верификация и аккредитация модели

*Дать пользователю возможность самостоятельно выполнять моделирование. Красивая и понятная визуализация результатов

*Репутация разработчиков модели

Понятие события в имитационном моделировании.

Если модель строится с целью изучения причинно-следственных связей, присущих системе, динамику системы целесообразно описывать в терминах событий.

Событие представляет собой мгновенное изменение некоторого элемента системы или состояния системы в целом. Событие характеризуется:

Условиями (или законом) возникновения;

Типом, который определяет порядок обработки (дисциплину обслуживания) данного события;

Нулевой длительностью.

События подразделяют на две категории:

События следования, которые управляют инициализацией процессов (или от¬дельных работ внутри процесса);

События изменения состояний (элементов системы или системы в целом).

Механизм событий используется в качестве основы построения моделей, предназначенных для исследования причинно-следственных связей в системах при отсутствии временных ограничений. К таким задачам можно отнести, например, некоторые задачи по оценке надежности.

Принципы разработки имитационных моделей.

При разработке имитационных моделей необходимо соблюдать следующие принципы.

Принцип информационной достаточности.

При полном отсутствии информации об исследуемой системе построение ее модели невозможно. При наличии полной информации о системе ее моделирование лишено смысла. Поэтому существует некоторый критический уровень априорных сведений о системе (уровень информационной достаточности), при достижении которого может быть получена ее адекватная модель.

Принцип осуществимости.

Создаваемая модель должна обеспечить достижение поставленной цели с вероятностью отличной от нуля и за конечное время. Обычно задают пороговое значение вероятности р0 достижения цели моделирования, выраженное функцией p(t), а также приемлемую границу времени t0 достижения этой цели. Модель считается осуществимой, если одновременно выполняются неравенства p(t) ? p0, t ? t0.

Принцип множественности моделей.

Данный принцип является ключевым. Создаваемая модель должна отражать в первую очередь те свойства реализуемой системы или явления, которые влияют на выбранный показатель эффективности.

При использовании любой конкретной модели исследуются лишь некоторые стороны реальности. Для более полного исследования объекта или системы необходим ряд моделей, позволяющих с разных сторон и с разной степенью детализации отражать рассматриваемый процесс.

Принцип агрегирования.

Сложную систему можно представить в виде агрегатов или подсистем, для описания каждого из которых могут быть пригодны некоторые стандартные математические методы или прикладные модели. Этот принцип позволяет гибко перестраивать общую модель системы в рамках решения задач, которые решаются в процессе исследования.

Если при исследовании построенных моделей получаются сходные результаты, то исследование успешно завершено. Если результаты различаются, то необходимо либо пересмотреть постановку задачи, либо поставить вопрос об адекватности математических моделей.

Принцип параметризации.

В ряде случаев моделируемая система имеет в своем составе некоторые относительно изолированные подсистемы, деятельность которых характеризуется определенными параметрами, которые могут характеризоваться и векторными величинами. Такие подсистемы можно заменять в модели соответствующими числовыми величинами, а не описывать процесс их функционирования. Зависимость значений этих величин в зависимости от ситуации может задаваться в виде таблицы, графика или аналитического выражения. Принцип параметризации позволяет сократить объемы вычислительных и других работ, а также время моделирования. Однако, параметризация может снижать адекватность модели.

Принцип целесообразности.

Необходимо соизмерять точность исходных данных и с результатами, которые нужно получить.

Принцип устойчивости.

Любая сложная система всегда подвергается малым внешним и внутренним воздействиям, поэтому модель должна быть устойчивой, стараться сохранять свои свойства и структуру, даже в случае возникновения различных воздействий.

Принцип адекватности.

Модель должна отражать существенные черты исследуемого явления, при этом не должна сильно упрощать исследуемые процессы.

Степень реализации перечисленных принципов в каждой конкретной модели может быть различной, причем это зависит не только от желания разработчика, но и от соблюдения им технологии моделирования.

Валидация цифровой модели изделия

Александр Щеляев
Менеджер отдела вычислительной гидродинамики, ООО «ТЕСИС»

Современный технологический цикл производства основан на использовании трехмерного электронно-цифрового представления модели изделия. Описание геометрических обводов изделия является первичной информацией, описывающей объект и требования к качеству его изготовления. Следовательно, геометрические обводы изделия, методика их создания/построения и методика их передачи из одной рабочей среды в другую с сохранением целостности должны являться объектами пристального внимания со стороны контролирующих структур предприятия. Информационные инструменты по работе с CAD-моделью, используемые в промышленности, как и любой другой инструментарий, требуют постоянного контроля результата их применения, а также документирования процесса их использования в соответствии с требованиями системы менеджмента качества предприятия. Подобные требования на западном рынке сформулированы как на уровне международных стандартов серии ISO 9000, так и на уровне требований отдельных корпораций, например Boeing D6-51991. На практике это означает, что любые операции с CAD-моделью изделия должны заканчиваться валидацией CAD-модели с целью обнаружения нарушения целостности описания геометрических обводов изделия как на уровне геометрии и топологии (см. статью «Программный комплекс 3DTransVidia — качественная трансляция цифровой модели изделия» // САПР и графика. 2014. № 6), так и на уровне семантических объектов и атрибутов. Результат валидации должен быть задокументирован и сохранен для последующей работы по усовершенствованию рабочего процесса. Под операциями с CAD-моделью в первую очередь понимают трансляцию модели из одного формата в другой или ее передачу между различными программными продуктами, используемыми в производственной цепочке. Под валидацией понимают проверку качества CAD-модели на всех стадиях ее применения в рамках электронного документооборота внутри производственного цикла. Проверка осуществляется методом сравнения производной CAD-модели после трансляции (импорта) с оригинальной CAD-моделью, принятой в качестве эталона.

Рассмотрим методику проведения валидации CAD-модели на примере схемы взаимодействия корпорации Boeing со своими подрядчиками (смежниками) в рамках международной кооперации по производству пассажирских самолетов. Корпорация Boeing, как головное предприятие, в рамках кооперации отвечает за разработку нового самолета, изготовление наиболее ответственных агрегатов или узлов и окончательную сборку. Изготовление всех остальных деталей, узлов и агрегатов самолета осуществляют смежники корпорации, расположенные по всему миру. Корпорация Boeing при работе в гражданских проектах в качестве среды проектирования и поддержки жизненного цикла самолета использует программные продукты фирмы Dassault Systemes (в том числе CAD-систему CATIA различных версий и поколений). Все попытки навязать смежникам работу в аналогичных продуктах фирмы Dassault Systemes привели бы к росту себестоимости самолетов Boeing, так как смежники начали бы закладывать в себестоимость изделия издержки на покупку и техническое сопровождение недешевого программного обеспечения фирмы Dassault Systemes. Корпорация Boeing позволяет своим смежникам использовать в их работе любые программные продукты, которые им удобны и выгодны как с экономической точки зрения, так и с точки зрения технических возможностей. Однако, чтобы устранить возможные негативные последствия от работы в мультибрендовой CAD/CAM/CAE/CAI-среде, корпорация Boeing ввела в действие корпоративный стандарт D6-51991, который обязаны соблюдать все смежники. Данный стандарт регламентирует взаимодействие головной корпорации с соисполнителями в части контроля качества использования цифровых моделей изделий. Одновременно с этим на рынке появились программные продукты, которые позволяют автоматизировать процесс валидации и, в том числе, поддерживают стандарт D6-51991. Если смежник не может доказать головной корпорации, что он адекватно отслеживает качество цифровой модели изделия, полученной от Boeing, то он не допускается для работы в проектах Boeing. Требования Boeing являются жесткими, но они заставляют всех смежников вырабатывать организационные и технические меры по корректному использованию CAD-моделей для обеспечения гарантированного качества выпускаемой продукции. Стандарт Boeing D6-51991 гласит, что «смежник отвечает за трансляцию данных, используемых при изготовлении (в производстве) и при техническом контроле, и должен иметь ясный процесс документирования обоих этапов. Документированный процесс должен включать методику проверки точности трансляции» (рис. 1).

Одним из таких программных продуктов, который полностью поддерживает требования стандарта Boeing D6-51991, является CompareVidia (рис. 2).

Описание рабочего процесса

Программа CompareVidia выполняет проверку CAD-модели, полученной в результате трансляции (импорта), сравнивая ее с эталонной CAD-моделью. Программа CompareVidia позволяет выполнять проверку на трех различных уровнях:

1. Глобальная проверка — проверка интегральных характеристик CAD-модели, например площади поверхностей, координат геометрического центра модели
   и т.п. Данный вид проверки является самым быстрым.
2. Локальная проверка — поэлементная проверка таких геометрических примитивов CAD-модели, как точка-точка, ребро-ребро, поверхность-поверхность, тело-тело. Данный вид проверки занимает больше времени, так как требуется проверка большего массива данных. Однако это позволяет локализовать деформированное место в CAD-модели, что даст возможность выполнить анализ и найти причину изменения CAD-модели.
3. Проверка атрибутов — вспомогательная проверка атрибутов CAD-модели, в том числе PMI-объектов.
4. Подобная многоуровневая схема валидации позволяет гибко настроить процесс проверки для всех случаев — от крупногабаритных поверхностей панелей обшивки крыла до крупных сборок, состоящих из множества простых деталей.

Типовая схема рабочего процесса валидации представлена на рис. 3.

Эталонная модель, предварительно прошедшая проверку в корпорации Boeing, предоставляется смежнику в формате CATIA (без дерева построения) и дополнительно — в формате STEP. Смежник, получив модель, открывает ее в своих CAD/CAM/CAE/CAI-приложениях для выполнения соответствующих операций своего технологического цикла и сохраняет в формате STEP. После этого в программу CompareVidia загружается оригинальная CAD-модель и деривативная. Для этого в CompareVidia задаются критерии проверки и их численные параметры.

При использованииГлобальных проверок необходимо задать процентную точность проверки интегральных характеристик (рис. 4).

При использовании Локальных проверок необходимо задать линейную и угловую точность проверки (рис. 5).

При необходимости определить сохранность атрибутов или семантических объектов необходимо задать соответствующие параметры проверки (рис. 6).

Валидация CAD-модели под требования производства

Стандартные требования проверки геометрии CAD-модели до недавнего времени включали исключительно проверку геометрических обводов на соответствие заданной точности. Подобная методика долгое время успешно использовалась при подготовке модели к изготовлению, однако не позволяла отслеживать изменения топологии геометрической модели, которые могут происходить из-за отличия в реализации математических функций геометрического ядра той или иной CAD-системы. Например, система CATIA V4 имеет поддержку полиномов более высоких степеней по сравнению с современными CAD-системами. Следует отметить, что нарушение топологии CAD-модели, как правило, не приводит к нарушению описания геометрических обводов в пределах задаваемой точности, не искажает твердотельного описания, поэтому по формальным признаком это не является браком (рис. 7).

Однако при дальнейшем использовании подобной CAD-модели на производстве могут появиться проблемы, связанные со спецификой работы CAM-приложений. Например, значительная часть CAM-приложений строит маршрут движения обрабатывающего инструмента для станков с ЧПУ на основе характеристик поверхностей, из которых состоит CAD-модель обрабатываемой детали. В первую очередь алгоритм нацелен на приоритетное построение траектории движения инструмента вдоль длинных кромок обрабатываемой поверхности. Это позволяет реализовать установившийся режим обработки и достигать максимальной скорости движения инструмента. Границы поверхностей в CAD-модели определяются ее топологией, и если топология трансформировалась, то одна поверхность сегментируется на несколько поверхностей меньшего размера. В CAM-приложениях это приводит к перестроению траекторий движения инструмента и к увеличению количества участков, где инструмент меняет направление своего движения. В месте изменения направления движения меняется регулярность обработки поверхности, приводящая к изменению шероховатости поверхности (рис. 8), что эквивалентно получению брака на производстве.

В подобной ситуации оказался один из подрядчиков Boeing — компания Triumph Interiors, которая отвечает за производство рам для иллюминаторов пассажирского лайнера. Математическая модель рамы от Boeing прошла полную валидацию и удовлетворяла геометрическим требованиям качества. Полный комплект рам для иллюминаторов на весь самолет был изготовлен и отправлен заказчику. Однако вся партия вернулась как забракованная. Анализ показал, что валидация CAD-модели не затрагивала проверку топологии. При этом в процессе чтения CAD-модели в CAM-приложение топология модели трансформировалась, что и привело к изменению в режимах обработки на станке (рис. 9). Таким образом, более полная валидация позволила найти источник проблемы, устранить брак в производстве, а компании Triumph Interiors остаться в проекте Boeing.

Необходимо отметить, что в итоге сама корпорация Boeing пришла к решению ужесточить критерии проверки CAD-модели и в обязательном порядке проверять целостность топологии. Отклонение от этого требования допускается только в исключительных случаях и с оговоркой, что результат не повлияет на качество продукции.

Другой важной возможностью для производства является проверка целостности PMI-объектов — как в векторном представлении, где текстовые символы представлены как набор полилиний, так и в символьном представлении, с редактируемым текстом. Отдельно проверяется целостность семантических связей, то есть связь PMI-объекта с поверхностью CAD-модели (рис. 10).

Валидация модели под требования технического контроля

Современный процесс контроля качества изготовления продукции также опирается на использование CAD-модели. Выполненные средствами стационарных или мобильных координатно-измерительных машин (КИМ) замеры конкретных деталей предоставляют массив контрольных точек, которые в CAI-приложениях (Computer Aided Inspection) накладываются на эталонную CAD-модель, а затем строится карта отклонений между реальным изделием и его математической моделью. При этом необходимо понимать, что CAI-приложение также построено на базе какого-то геометрического ядра, а значит, всегда следует проверять, что импортированная в это приложение CAD-модель не претерпела никаких деформаций.

С точки зрения валидации данных на этапе метрологического контроля значительное удобство работы и скорость ее проведения привносят следующие возможности программы CompareVidia:

• поддержка работы с парамет-рическими NURBS-моделями, STL-сетками и облаками точек (рис. 11);
• автоматическое базирование сравниваемых моделей в единой системе координат.

Документирование процесса валидации модели

В соответствии с требованиями современных стандартов качества процесс валидации CAD-модели должен быть задокументирован для последующего возможного расследования причин появления ошибок в геометрическом или топологическом описании CAD-модели.

В программном комплексе CompareVidia результаты валидации автоматически оформляются в виде отчета с приведением всей статистики сравниваемых моделей, количества ошибок, их типов, расположения ошибок на модели, их численных характеристик и т.д. Глубина представленной в отчете информации может быть настроена пользователем. Отчет может быть сохранен в форматы 2D/3D PDF, HTML или TXT и распечатан для подписания ответственным лицом (рис. 12).

Методика проверки точности валидации CAD-модели

CompareVidia является программным комплексом, который, в том числе, оценивает качество CAD-модели во время валидации. По-этому совершенно логично можно задаться вопросом о методике проверки точности валидации с помощью CompareVidia.

В качестве методики оценки точности работы CompareVidia компанией ASCO, одним из поставщиков Boeing и Airbus, был предложен сравнительный подход, где проверяется эталонная модель, содержащая заведомо внесенные в нее отклонения (изменение линейных парамет-ров элементов построения, изменение углового положения, смещение центров отверстий и пр.). В результате валидации «дефектной» модели с помощью программы CompareVidia были обнаружены все заложенные в модель ошибки с точным определением их численных характеристик (рис. 13).

Программа CompareVidia поддерживает следующие форматы: CATIA V4, CATIA V5, ProE/Creo, UG NX, Inventor, SolidWorks, Solid Edge, JT, STEP, IGES, ACIS, Parasolid, SAT, VDA-FS, VRML, STL, MESH, QIF, 3DXML и Adobe 3D PDF (рис. 14).

Как и все продукты, предлагаемые компанией ТЕСИС в области контроля качества цифровой модели, CompareVidia также допускает выбор точности и единиц измерения при открытии сравниваемых моделей (рис. 15).

Работа со сборкой

Работа со сборкой позволяет выполнять все операции, которые доступны на уровне отдельной детали, а также проверять целостность сборочного документа: наличие или отсутствие отдельных деталей; изменение в конструктивном описании деталей; контроль структуры сборки.

Архитектура и работа с PDM-системами

Архитектура программного комплекса CompareVidia базируется на модульном описании и поддержке скриптового языка на базе XML. Это позволяет интегрировать CompareVidia в рабочий цикл документооборота предприятия, где проверку деталей и создание отчетности можно автоматизировать на любом уровне. Существует возможность пакетной обработки массива файлов.

Лицензирование

Система лицензирования может выдавать лицензию на работу CompareVidia как в локальном режиме для одного рабочего места, так и в сетевом — как плавающую сетевую лицензию. Лицензирование организовано по типам CAD-форматов на чтение и запись, а также по возможности пакетной трансляции и использованию режима работы Track Engineering Changes (TEC), для локализации мест обнаружения ошибок на модели без количественной оценки ошибки.

Система лицензирования CompareVidia не требует наличия на рабочем месте лицензий соответствующих CAD-систем и работает исключительно в автономном режиме. Пользователю доступны все поддерживаемые разработчиками версии CAD-форматов.

Программный комплекс CompareVidia является одним из флагманских продуктов в линейке геометрических инструментов, предлагаемых компанией ТЕСИС. Система обладает русскоязычным интерфейсом, русскоязычной документацией и технической поддержкой. Компания ТЕСИС предлагает внедрение системы, включая обучение и техническое сопровождение. С информацией о новых версиях программного комплекса CompareVidia можно ознакомиться на сайте компании ТЕСИС
(www.tesis.com.ru ). 

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

КУРСОВАЯ РАБОТА

По дисциплине « Имитационное моделирование »

На тему: « Валидация и верификация имитационной модели »

Введение

2. Валидация

Заключение

Введение

Качество информации является одним из важнейших параметров для потребителя информации. Оно определяется следующими характеристиками:

Репрезентативность - правильность отбора информации в целях адекватного отражения источника информации.

Достаточность (полнота) - минимальный, но достаточный состав данных для достижения целей, которые преследует потребитель информации.

Доступность - простота (или возможность) выполнения процедур получения и преобразования информации.

Актуальность - зависит от динамики изменения характеристик информации и определяется сохранением ценности информации для пользователя в момент ее использования.

Своевременность - поступление не позже заранее назначенного срока.

Точность - степень близости информации к реальному состоянию источника информации.

Достоверность - свойство информации отражать источник информации с необходимой точностью.

Устойчивость - способность информации реагировать на изменения исходных данных без нарушения необходимой точности.

Вопросы получения качественной информации в результате имитационного эксперимента встают и перед специалистами в области имитационного моделирования.

Имитационные модели получают все большее применение в процессе решения задач и принятия решений. В том, что модель и полученные с ее помощью результаты являются верными, в полной мере заинтересованы как разработчики модели, ее пользователи и лица, принимающие решения, так и люди, на которых оказывают влияние решения, принятые на основе данной модели. Эта заинтересованность в первую очередь относится к верификации и валидации модели. Под верификацией чаще всего понимают проверку правильности преобразования концептуальной имитационной модели в программную модель, под валидацией - проверку правильности её поведения и представления концептуальной модели. В Министерстве Обороны США широко применяются имитационные модели. В последние годы Министерство Обороны проявляет интерес к верификации, валидации и концепции, известной как аккредитация (VV&A- Validation, Veryfication and Accreditation). Аккредитация определяется как «официальное засвидетельствование того, что модель, симуляция, или объединение моделей и симуляций является допустимым для использования для определенной цели».

Аккредитация - это официальное свидетельство (спонсора проекта) того, что имитационная модель применима для данной задачи. Министерство Обороны поддержало концепцию аккредитации, так как кто-то должен нести ответственность за принятие решения о возможности использования модели для данной задачи - от этого зависит большие суммы денег и жизни людей.

По одному из принципов тестирования полное тестирование систем имитационного моделирование невозможно (Balci). Исчерпывающее (полное) тестирование требует тестирования систем имитационного моделирования при всех возможных значениях входных параметров. Комбинации возможных значений входных параметров для систем имитационного моделирования в ходе исполнения программы могут привести к миллионам логических цепочек. Но в силу временных и денежных ограничений тестирование правильности такого большого количества логических цепочек невозможно.

Поэтому можно сказать, что «единственный существующий способ исчерпывающего тестирования - это тестирование до тех пор, пока тестеры не исчерпают все свои силы».

Следовательно, целью тестирования систем имитационного моделирования является увеличение уверенности в правильности системы в той мере, как это диктуется планируемым использованием системы и целями проекта, а не попытка полного тестирования системы имитационного моделирования.

Несмотря на то, что существуют более 100 методов верификации и валидации , в связи с временными и ресурсными ограничениями, для тестирования систем имитационного моделирования используется только очень ограниченный набор методов. Ограниченное тестирование не позволяет доказать достаточную точность систем имитационного моделирования. Поскольку использование только лишь валидации имеет хорошо известные ограничения, некоторые исследователи предлагают использовать оценку правильности вместе с характеристиками качества имитационных моделей.

верификация валидация имитационный модель

1. Этапы имитационного моделирования

Процесс построения имитационных моделей представляет собой последовательное выполнение этапов имитационного моделирования. Эти этапы процесса моделирования приведены в книге А.Прицкера:

Формулирование проблемы-описание исследуемой проблемы и определение целей исследования.

Разработка модели - логико-математическое описание моделируемой системы в соответствии с формулировкой проблем.

Подготовка данных - идентификация, спецификация данных.

Трансляция модели - перевод модели на язык, приемлемый для используемой ЭВМ

Верификация модели - Установление правильности машинных программ

Валидация модели - оценка требуемой точности и соответствия имитационной модели реальной системе.

Стратегическое и тактическое планирование - определение условии проведения машинного эксперимента с имитационной моделью.

Экспериментирование - прогон имитационной модели на ЭВМ для получения требуемой информации.

Анализ результатов - изучение результатов имеет моделирование для подготовки выводов, для решения проблемы.

Названные выше этапы имитационного исследования редко выполняются в строго заданной последовательности, начиная с определения проблемы и кончая документированием. В ходе имитационного исследования могут быть сбои в прогонах модели, ошибочные допущения, от которых в последствии приходится отказываться, переформулировки целей исследования. То есть, на каждом этапе возможно возвращение назад, к предыдущим этапам. Именно такой итеративный процесс даёт возможность получить модель, которая позволяет принимать решения. Рассмотрим более подробно этапы верификации и валидации имитационной модели. Упрощенный процесс разработки имитационной модели приведён на рис..

Рассмотрим более подробно этапы верификации и валидации имитационной модели. Эти этапы связаны с оценкой функционирования имитационной модели. На этапе верификации определяется, соответствует ли запрограммированная модель замыслу разработчика. Установление адекватности имитационной модели выполняется на этапе валидации. Валидация модели обычно выполняется на различных уровнях (например, на уровне входных данных, элементов модели, подсистем и их взаимосвязи). Проверка адекватности модели включает сравнение её структуры со структурой системы, сравнения того, как реализованы элементарные функции и рушения в модели и системе.

Существуют специальные методы валидации (например, путём оценивания чувствительности выходных данных к изменению значений входных), различные парадигмы, подходы и методики. Рассмотрим некоторые из них. Но прежде постараемся дать основные определения, а именно, более подробно рассмотрим различные подходы к валидации, а затем и алгоритм построения валидной модели, предложенный Лоу.

2. Валидация

Итак, валидация - это процесс определения того, является ли имитационная модель точным представлением данной системы для конкретной задачи. Существует несколько точек зрения на валидацию:

Валидная модель может быть использована для принятия решений, сходных с теми, которые были бы приняты на реальной и недорогой системе.

Сложность процесса валидации зависит от сложности моделируемой системы, а так же от того, существует ли реальная система. Например, валидация модели смежного банка относительно проста, эту модель смежного банка можно хорошо изучить. А вот полная валидация модели системы морского оружия в 2025 году фактически невозможна ввиду того что, неизвестно ни место проведения сражения, ни оружие противника. Так же обычно для построения и валидации модели можно собирать данные о существующей системе.

Имитационная модель сложной системы может быть лишь аппроксимацией реальной системы, не зависимо от того, как много времени и средств потрачено на ее создание. Не существует абсолютно точных моделей, как бы того не хотелось. Модель - это абстракция, упрощение реальной системы. Чем больше времени (а следовательно и финансовых затрат) тратится на разработку модели, тем более валидная в целом будет модель. Но наиболее валидная модель не обязательно является и наиболее выгодной. Например, так как для улучшения валидности модели до определенного уровня может потребоваться сбор подробных данных, то такое улучшение может быть достаточно затратным. Но в то же время такое улучшение валидности может и не привести к принятию решений, которые значительно лучше существующего.

Имитационная модель всегда должна разрабатываться для конкретного набора задач. Фактически модель, валидная для одной задачи, может не быть валидной для другой задачи.

Валидация не должна осуществляться после окончания разработки имитационной модели, при условии наличия времени и средств. К сожалению, на практике эта рекомендация не всегда выполняется.

Каждый раз, когда имитационная модель применяется к другой задаче, необходимо перепроверять валидность данной модели. Данная задача может существенно отличаться от первоначальной, либо параметры модели могут измениться.

Имитационная модель и результаты ее выполнения надежны, если лицо, принимающее решение и другие ведущие специалисты проекта приняли ее как «точная».

Заметим, что надежная модель не всегда является валидной, и наоборот, валидная модель не всегда является надежной. Для упрощения установления надежности модели необходимо следующее:

Понимание и принятие принимающим решение лицом допущений модели.

Демонстрация того, что была осуществлена валидация и верификация модели (то есть того, что программа отлажена).

Вовлеченность и ответственность за проект лица, принимающего решения.

Репутация "84разработчиковЃE модели.

Убедительная анимация.

3. Подход к управлению успешным исследованием системы методами имитационного моделирования

На рис. представлены этапы построения имитационной модели (они уже были приведены ранее). Далее более подробно рассматриваются рекомендации А. Лоу по проведению каждого из этапов. Приведённая ниже информация используется А. Лоу при чтении курса лекций.

Этапы исследования имитационной модели

Шаг 1. Формулировка задачи

* Задача формулируется лицом, принимающим решение

Задача может быть сформулирована нечетко либо только на качественном уровне.

Обычно задача формулируется итеративно.

* Организационное совещание таких проектов возглавляются руководителем проекта, в присутствие аналитика в области имитационного моделирования и эксперта в данной предметной области. На собрании обсуждаются следующие положения:

Общие цели исследования.

Специфические вопросы, на которые необходимо ответить во время исследования (без такой специфики невозможно определить необходимый уровень детализации).

Критерии качества, используемые для определения эффективности различных конфигураций системы.

Размеры системы.

Моделируемая конфигурация системы.

Изучаемый временной кадр и необходимый ресурсы (люди, компьютеры и т.д.)

Шаг 2. Сбор данных и создание концептуальной модели

* Сбор информации о макете системы и способе эксплуатации.

* Сбор данных для определения параметров модели и распределении вероятностей (например, для времени отказов и времени восстановления машины).

* Документация допущений модели, алгоритмов, краткое изложение данных на письменной концептуальной модели.

* Уровень детализации модели должен зависеть от следующего:

Цели проекта

Критерий решения задачи

Доступность данных

Технические ограничения

Мнения экспертов в данной предметной области

Временные и финансовые ограничения

Между моделью и системой не должно быть соотношения один-к-одному.

Степень достоверности.

Сбор данных о рабочих характеристиках (выходных) на основе существующей системы (если таковая существует) для последующей валидации модели на шаге 5.

Шаг 3. Определение валидности концептуальной модели

* Структурированный просмотр концептуальной модели в присутствии руководителя проекта, аналитика и эксперта. Этот просмотр называется валидацией концептуальной модели.

* Если в концептуальной модели выявлены ошибки или упущения, которые есть практически всегда, то до того как приступить к этапу программирования необходимо обновить модель.

Шаг 4. Программирование модели

* Программирование модели на коммерческих пакетах для имитационного моделирования или на универсальных языках программирования (например, С, С++ или Java).

* Проверка (откладка) программы.

Шаг 5. Определение валидности запрограммированной модели

* При наличии реальной системы необходимо сравнить выходные данные имитационной модели с соответствующими выходными данными реальной модели (см. шаг 2). Этот процесс называется валидацией результатов.

* Независимо от того, существует ли реальная система или нет, аналитик по имитационному моделированию и эксперт в данной предметной области должны просмотреть результаты моделирования на корректность. Если результаты согласуются с тем, какими они должны быть в реальной системе, то говорят, что имитационная модель имеет внешнюю (лицевую) валидность.

* Для определения параметров модели, более всего влияющих на критерии качества, необходимо произвести анализ чувствительности. Полученные параметры требуют более тщательного моделирования.

Шаг 6. Проектирование, управление и анализ экспериментов

* Для каждой исследуемой конфигурации системы необходимо выбрать временные параметры (выходы) такие как время работы, время разогрева системы и количество независимых репликаций модели.

* Проанализировать результаты и решить, нужны ли дополнительные эксперименты.

Шаг 7. Документирование и представление результатов моделирования

* Документация модели (и связанных с ней исследования) должна включать в себя концептуальную модель (необходима для дальнейшего переиспользования модели), детальное описание программы и результаты данного исследования.

* Для повышения надежности модели окончательное представление исследования должно включать в себя анимацию и описание обсуждений процесса построения/валидации модели.

Заключение

Необходима валидация всех имитационных моделей, иначе решения, принятые на основе этих моделей, будут неверными. Ниже приводятся наиболее важные идей разработки валидных и надежных моделей:

Точная формулировка проблемы.

Проведение интервью с экспертами в данной предметной области.

Постоянное взаимодействие лица, принимающего решения с участниками проекта, что гарантирует корректность решаемой задачи, а также увеличивает надежность модели.

Разработки письменной концептуальной модели.

Структурированный просмотр концептуальной модели. Если не существует реальной системы, то это может быть единственным методом валидации.

Применение анализа чувствительности для определения наиболее важных (существенных) параметров системы.

Использование теста Тьюринга для сравнения выходных данных модели и системы.

Проверка результатов работы системы и анимации на корректность.

Список использованной литературы

1. Лоу, А. Имитационное моделирование / А. Лоу, В. Кельтон. - СПб. : Питер, 2004.

2. Рыжиков, Ю.И. Имитационное моделирование. Теория и технологии / Ю.И. Рыжиков. - СПб: Корона принт, 2004.

3. Советов, Б.Я. Моделирование систем: практикум / Б.Я. Советов, С.А. Яковлев. - М. : Высш. шк., 2005.

4. Шрайбер, Т. Дж. Моделирование на GPSS/ Т.Дж. Шрайбер. - М.: Машиностроение, 1980.

5. Харин Ю.С. Основы имитационного и статистического моделирования. Учебное пособие/ Ю.С. Харин, В.И. Малюгин, В.П.Кирлица и др. - Мн.:Дизайн ПРО, 1997.

6. Кудрявцев Е.М. GPSS World. Основы имитационного моделирования различных систем/ Е.М. Кудрявцев. - М.: ДМК, 2004.

7. Максимей И.В. Имитационное моделирование на ЭВМ/ И.В. Максимей. - М.: Радио и связь, 1988.

8. Методические требования к содержанию и оформлению курсовых работ/ Л.П. Харлап, Е.М. Сибогатова. - Гомель, БТЭУ, 2004. (мет. №1365)

9. Лабораторный практикум по имитационному моделированию /Еськова О.И. - размноженные материалы в кааб 3-35.

Размещено на Allbest.ru

...

Подобные документы

Создание математической модели системы массового обслуживания на примере банка. Разработка имитационной модели на языке программирования С++. Блок-схема программы, перевод модели на язык программирования. Верификация и валидация имитационной модели.

курсовая работа , добавлен 01.06.2015


Понятие верификации моделирующих компьютерных программ. Классификация математических моделей. Языки программирования, используемые для имитационных моделирующих программ. Способы исследования реальных систем. Методы повышения валидации и доверия к модели.

шпаргалка , добавлен 02.10.2013


Разработка имитационной модели "Перекресток" для анализа бизнес-процессов предприятия и принятия решения в сложных условиях. Алгоритм построения имитационной модели на основе CASE-средств. Обзор программного обеспечения для имитационного моделирования.

дипломная работа , добавлен 22.11.2015


Ознакомление с современными концепциями построения моделирующих систем. Характеристика основных приемов имитационного моделирования. Перевод алгоритма на язык программирования. Понятие и этапы верификации: установления правильности машинной программы.

курсовая работа , добавлен 30.03.2011


Процесс моделирования имитационной модели функционирования класса персональных компьютеров на языке GPSS World. Поиск линейной зависимости и оценка полученного уравнения. Отчет по результатам работы имитационной модели. Листинг разработанной программы.

курсовая работа , добавлен 07.09.2012


Понятие компьютерной модели и преимущества компьютерного моделирования. Процесс построения имитационной модели. История создания системы GPSS World. Анализ задачи по прохождению турникета на стадион посредством языка имитационного моделирования GPSS.

курсовая работа , добавлен 11.01.2012


Основы технологии моделирования Arena. Построение простой имитационной модели. Моделирование работы системы обслуживания покупателей на кассе супермаркета. Построение модели IDEF3. Анализ результатов имитационного моделирования и аналитического решения.

курсовая работа , добавлен 24.03.2012


Терминологическая база для построения модели, имитирующей работу маршрутных микроавтобусов. Обоснование выбора программного средства. Алгоритм работы имитационной модели, особенности ее функционирования. Анализ результатов работы имитационной модели.

курсовая работа , добавлен 29.04.2014


Построение концептуальной модели и метод имитационного моделирования. Определение переменных уравнений математической модели и построение моделирующего алгоритма. Описание возможных улучшений системы и окончательный вариант модели с результатами.

курсовая работа , добавлен 25.06.2011


Общая характеристика ателье "Вита", схема модели рабочего процесса. Исследование заданной системы с помощью моделирования динамических рядов, модели типа "система массового облуживания". Построение имитационной модели деятельности данного ателье.

Понятия, которые мы будем основательно разбирать, довольно часто встречаются как в обыденной жизни, так и в специализированной литературе, профессиональной деятельности. Многие хотят знать, верификация и валидация - что это простыми словами? В чем разница между этими терминами? Давайте порассуждаем вместе.

Валидация и верификация - что это простыми словами?

Оба понятия связаны с тестированием какого-либо продукта и обеспечением его качества. Если мы будем говорить простым языком, то выведем следующее:

• Валидация - гарантированная уверенность производителя в том, что он создал продукт по всем необходимым стандартам.
• Верификация - помогает увериться в том, что изделие соответствует всем изначально заданным требованиям к нему.

Рассказывая простыми словами, что это - верификация и валидация, нужно сделать упор и на такие факты:

• Для потребителя важнее всего валидация - уверенность в том, что он получает правильный продукт, соответствующий его требованиям.
• Для производителя более ценной будет верификация - подтверждение того, что изделие, которое он отправляет на реализацию, отвечает всем необходимым стандартам и нормам.

Еще одно значение

Мы еще разберем различие в понятиях "верификация" и "валидация" в тестировании. Ведь по большому счету они связаны с международными требованиями к проверке, приемке технологий и различной продукции.

Однако вместе с тем слова плотно вошли в жизнь и интернет-пользователей. Например, регистрируясь в платежных системах типа "Киви", "Яндекс. Деньги", вы должны пройти процесс верификации. В данном случае это обозначает проверку подлинности указанных данных о себе, идентификацию вас системой.

А те, кто активно пользуются социальными сетями ("ВКонтакте", "Одноклассники" и проч.), рано или поздно видят перед собой окошко с просьбой пройти валидацию. Это такая же проверка истинности введенных вами данных. К примеру, на привязанный к аккаунту телефон приходит СМС с кодом, который нужно напечатать в определенное поле, чтобы подтвердить, что вы являетесь владельцем указанного номера.

Таким образом, в данном случае трудно выделить разницу между валидацией и верификации. И то и другое, по сути, здесь является проверкой на указание соответствующих действительности данных. Хотим также указать на факт, что валидацию/верификацию успешно используют разработчики различных вирусов с целью выманивания у вас личной информации. Отчего такие данные следует вводить на надежных ресурсах, с компьютера, защищенного современным качественным антивирусом.

Определение стандарта ИСО 9000:2000

Объяснить простыми словами, что это - верификация и валидация, поможет характеристика этих терминов, данная в документах ИСО (ISO - Международная организация по стандартизации). Здесь мы видим следующее:

• Верификация - подтверждение на основе объективных предоставленных фактов того, что установленные нормы были выполнены.
• Валидация - подтверждение на основе объективных предоставленных фактов того, что установленные нормы для конкретного применения выполнены.

Вот из этих определений уже вытекает разница валидации и верификации:

• Первая процедура проводится только по необходимости. Продукт анализируется в заданных условиях эксплуатации. Результатом будет вердикт: возможно ли его использовать в данной обстановке.
• Вторая процедура практически обязательна. Это проверка на соответствие продукта требованиям, которые будут актуальны при любых условиях, при любом использовании.

Прочие определения верификации

Помочь разобраться в теме нам поможет ряд распространенных определений рассматриваемых понятий. Приведем характеристики верификации:

• Подтверждение соответствия выпущенного товара, продукта определенным эталонам.
• Практически обязательная процедура; сличение характеристик произведенной единицы с рядом заданных требований. Результат - вердикт соответствия или несоответствия последним.
• Провозглашение подтверждения, что установленные нормы в отношении изделия были выполнены.
• Простыми словами - создан продукт, который соответствует необходимым стандартам.

Прочие определения валидации

Рассмотрим теперь определения валидации:

• Практическое определение того, насколько тот или иной продукт соответствует ожиданиям его непосредственных пользователей.
• Процедура, которую проводят при необходимости. Это распространенный анализ заданных условий и оценка характеристик продукта касательно его эксплуатации в данной среде. Результат - вывод о возможности использования товара, изобретения в определенной сфере.
• Подтверждение соблюдения требований системы стандартов, заказчика, непосредственного пользователя и проч.
• Простыми словами - создан правильный продукт, удовлетворяющий потребителя.

Отличия на основе перевода

Определить, в чем разница между валидацией и верификацией, поможет и обращение к переводу этих слов, имеющих английские корни:

• Verification - какая-либо проверка.
• Validation - придание чему-либо законной силы.

Даже из этого следует, что верификация предшествует валидации, не является конечной. Окончательный вердикт продукту, имеющий законную силу, дает именно последняя.

Отличия верификации и валидации в сравнении

В сравнительной таблице легче обозначить различия этих в чем-то схожих терминов.

Верификация	Валидация
Делаем ли мы продукцию правильно?	Произвели ли мы правильный продукт?
Вся ли функциональность была реализована?	Верно ли функциональность была реализована?
Верификация предшествует валидации: она включает в себя полную проверку правильности написания, производства и прочего сотворения.	Случается уже после верификации - качества произведенного продукта.
Проводят разработчики.	Проводят тестировщики.
Статистический тип анализа: сравнение с установленными требованиями к продукту.	Динамический тип анализа: продукт тестируется в эксплуатации для выяснения его соответствия нормам.
Объективная оценка: выносится на основе соответствия определенным стандартам.	Субъективная оценка: личная оценка, которую ставит специалист-тестировщик.

Давайте еще немного порассуждаем, чем отличается валидация от верификации, в следующем разделе.

Ключевые различия понятий

Итак, расставим все точки над i. Верификация - это любое тестирование, через которое проходит продукт. Проверка правильности технологии его производства, а также качества изделия. Валидация же - понятие, более близкое к аттестации. Это соответствие каким-то конкретным, а не общим требованиям. Насколько хорош продукт не вообще, а именно для определенного потребителя, заказчика или заданных условий.

Еще можно отметить, что верификация - это бумажное, теоретические тестирование технологии или продукта. Валидация же - реальная, физическая проверка, осуществляемая на практике, в конкретных условиях.

Если изделие прошло верификацию, значит, оно соответствует каким-то заданным технологическим требованиям. Если же успешно пройдена валидация, выходит, что на практике оно также без нареканий применимо. Отсюда можно вынести, что последнее понятие несколько важнее, показательнее, нежели первое.

Примеры верификации

Давайте посмотрим на конкретные примеры, чтобы закрепить в голове разницу между этими понятиями.

Фармацевтический завод проверяет лекарства на соответствие конкретным требованиям. На вводе в производство устанавливается их безопасность для пациента в определенных дозах, отсутствие эффекта плацебо, неимение возможности проявления губительного привыкания и проч. Таким образом, верификация препаратом пройдена. А валидацию в этом случае проводит уже лечащий доктор: он определяет, поможет ли лекарство конкретному пациенту, не приведет ли его применение к риску для жизни и здоровья этого человека и т. д.

Рассмотрим на примере велосипеда. Проверяем, есть ли руль, сидение, цепи, колеса, тормозная система и проч. Все на месте? Верификация пройдена!

Примеры валидации

Теперь примеры, чем отличается валидация от верификации.

Какое-либо предприятие в соответствии с определенными требованиями производит универсальные трубы. Поступает вопрос от заказчика: возможно ли данный продукт проложить по дну моря? Производитель должен провести валидацию своих труб в соответствии с предложенными условиями, чтобы объективно ответить на этот вопрос.

На примере того же велосипеда рассмотреть валидацию тоже очень легко. На устройстве можно кататься? Можно затормозить? Можно повернуть вправо, влево? Переключить скорость? Если все возможно, валидация пройдена. Не смогли затормозить, упало сидение, расшатан руль - увы, велосипед данную процедуру не прошел.

Вот мы и разобрали понятия "верификация" и "валидация", постаравшись выразить все простым языком. Надеемся, что это поможет вам четко проследить разницу между ними, особенности каждого.