Используют следующие методы валидации

1. Сравнение результатов моделирования с экспертными оценками специалистов по данной системе. Эксперты проверяют, насколько модель выглядит правильно. Для применения этого метода требуется постоянный контакт с заказчиком модели, с экспертами по системе, которые разбираются во всех тонкостях. Они должны быть вовлечены в процесс построения модели от концептуализации до применения, чтобы на каждом этапе моделирования заверять в высокой степени достоверности отображения реальной системы. Эксперты могут оценивать выходные данные модели на разумность и могут помочь в идентификации недостатков модели.

Здесь используют данные либо о предыдущей работе системы, либо о текущей. Если моделируемая система существует и доступны выходные данные, то для сравнения измерений на реальной системе и результатов экспериментов можно применить различного рода классические тесты: хи-квадрат, Колмогорова-Смирнова и др. (но из-за автокорреляции применение данных тестов не всегда корректно). Предположим, что взята выборка некоторой характеристики (х) реальной системы. Моделируя эту систему, получают выборку и оценивают эту же характеристику (у). Идеальная имитационная модель имеет эмпирическую функцию распределения для отклика идентичную распределению для реальной системы. Поэтому, проведя идентификацию закона по тесту хи-квадрат или Колмогорова-Смирнова сравнивают эти распределения, как по типу, так и по частным характеристикам, например, среднему значению.

3. Анализ чувствительности — исследование выходов модели при изменении значений входов или структуры модели. Например, анализ чувствительности позволяет выявить влияет ли, и в какой степени, интенсивность поступления требований на время их ожидания перед прибором обслуживания. Или как измениться количество ожидающих требований при изменении приоритета их обслуживания. При таком анализе выбирают комбинации факторных уровней и выполняют несколько прогонов модели на всех уровнях. Затем данные эксперимента анализируют на основе стандартных статистических процедур (дисперсионного, регрессионного анализов). Таким образом, пользователь модели задает вопросы, правильно ли ведет себя модель, если изменять одну или несколько переменных? Например, в большинстве СМО, если интенсивность поступления требований увеличить, то использование приборов и длины очередей тоже будут увеличиваться. Если провести анализ чувствительности, используя процедуру дисперсионного анализа, и он покажет, что использование приборов и/или длины очередей статистически не связаны с интенсивностью поступления, то необходимо серьезно проверить модель.

Регрессионный и корреляционный анализы покажут, как уменьшаются или увеличиваются выходные переменные при увеличении или уменьшении входных переменных. Если в реальной системе такая же тенденция, то уверенность в правильности отображения моделью реальной системы возрастает.

4. Trace-driven моделирование. Этот метод применим, если реальные данные по входу-выходу системы доступны. Такое моделирование означает, что на вход имитационной программы в исторической последовательности подаются реальные входные данные. После выполнения имитационной программы, сравнивают временной ряд результатов модельных экспериментов с временным рядом реальных выходов системы. При сравнении также используют классические статистические тесты.

5. Сопоставление результатов моделирования с результатами аналитических расчетов. Этот метод применяют, если известны аналитические зависимости для моделируемой системы или их можно легко получить. Иногда при использовании этого метода из модели исключают случайные факторы, детерминируя времена поступления, обслуживания и т.д.

6. Проверка имитационной модели с помощью компьютерной анимации. Этот метод используется также при верификации (см. выше). Иногда анимация позволяет выявить трудноуловимые ошибки, которые эксперт по системе может легко выявить.

Итак, валидация модели включает много процедур, применение которых, прежде всего, зависит от того: существует ли моделируемая система или нет, доступны ли данные по ней и какие. Статистические процедуры, применяемые в каждом из вариантов, используют методы регрессионного и дисперсионного анализа, критерии, зависящие и свободные от распределений, анализ чувствительности. Для большей уверенности в правильности модели необходимо по возможности использовать несколько методов валидации, но при этом оценивать затраты на нее.

Ссылка на основную публикацию
Adblock
detector