Время прочтения: 4 мин.
В период пандемии автоматизация производственных процессов имеет решающее значение.
Некоторые задачи, например, такие как прогнозирование, принятие бинарных решений, классификация данных, мониторинг видеопотока и многие другие решаются при помощи построения компьютерных моделей. В настоящее время Модели имеют не только чисто научное применение- их также используют в различных сферах жизнедеятельности.
На результат моделирования влияют следующие факторы:
— корректность входных допущений;
— обоснованность экспертного суждения;
— корректность, полнота, однородность входных данных;
— актуальность и диапазон временного разброса;
— упрощение модели;
— ошибки при построении модели;
— погрешности метода расчетов;
— оценка результатов и др.
Валидация модели – это процесс определения уровня соответствия разрабатываемой модели реальному процессу в рамках области ее планируемого использования. Иными словами, это отладка модели до состояния, удовлетворяющего конечного пользователя / заказчика продукта, и соответствия изначальным требованиям и ожиданиям.
Валидация необходима не только для корректировки существующей модели, но и для понимания заказчика и разработчика модели о точности работы модели и ее погрешности, так как при существенных погрешностях теряется смысл ее работы.
В качестве примера рассмотрим Модели, валидация которых регламентируется как на государственном, так и на международном уровне. К таким Моделям, например, относятся банковские рейтинговые Модели. Принципы и подходы к проведению их валидации в рамках реализации ПВР определены Базельским комитетом по банковскому надзору и включают в себя следующие принципы:
- Проверка предсказательной способности банковских оценок кредитного риска, а также того, насколько данные оценки интегрированы в бизнес-процессы банка.
- Полнота и правильность валидации собственных рейтинговых моделей.
- Итерационность процесса.
- Подходы к проведению валидации.
- Методы валидации ( качественные и количественные).
- Независимая оценка Процедур и результатов внутренней валидации рейтинговых моделей.
Роль независимого оценщика Моделей как правило выполняет Служба внутреннего аудита. Аудит процесс валидации позволяет не только найти «западающие» зоны процесса моделирования, но и дать гарантию адекватности работы Моделей, в том числе сформулировать предложения по повышению эффективности ее работы.
Аудит Процесса валидации Модели включает в себя несколько этапов:
- Выбор модели и метода моделирования, проверка логичности, адекватности модели.
На данном этапе аудитором проводится сопоставление результатов расчетов с соответствующими данными действительности – процессами и закономерностями моделируемого процесса. Анализируется следование логики модели логике реального бизнес-процесса, выбирается модель, показавшая наилучшие результаты.
2. Проверка вводимых данных, их достоверности.
Оценивается корректность выбора данных, их полнота, схожесть, процесс их передачи в модель, а также поиск лучшего решения для обработки пустых данных.
3. Анализ процесса полноты тестирования и возможности включения модель в бизнес-процесс, анализ технических сложностей при внедрении.
Анализируется техническая часть бизнес-процесса, IT-составляющая затрагиваемых программ и СУБД, критичность сбоев в момент интеграции, последствия возрастания нагрузки на вычислительные мощности.
4. Оценка допущений и экспертных суждений, заложенных в модель.
Анализируется корректность и весомость допущений, принятых на этапе разработки модели.
5. Проверка данных, получаемых в процессе моделирования, на соответствие реальным данным, для описания и результирования которых создана Модель.
Данный этап поводится для подтверждения достоверности логики (структуры) модели. Полученные данные сопоставляются с имеющимися статистическими сведениями о моделируемом процессе.
6. Аудит сценариев Стресс-тестирования и тестовые алгоритмов.
Проводится анализ процесса тестирования модели с целью оценки устойчивости в условиях отклонения от нормального функционирования. Анализируется поведение модели при подаче различных по однородности и полноте данных.
7. Оценка Производительности.
Оценивается продуктивность работы модели, а также анализируются способы повышения производительности.
8. Аудит процесса Управления и доступности модели.
Оценивается контроль над моделью со стороны заказчика, возможность влияния на результаты ее работы сторонних лиц, прочих участников бизнес-процесса, в обязанности которых входит только ее непосредственное использование, а также анализируется участие в оценке Модели экспертов от бизнес-процесса.
9. Оценка непрерывности процесса проверки качества модели.
На данном этапе анализируется адекватность результатов работы модели и необходимость регулярного послед-контроля, зависящая от уровня значимости модели.
10. Прочие этапы, такие как проверка взаимозаменяемости моделей, независимости и др.
Данные этапы не являются и полным перечнем для проведения аудита валидации, вместе с тем, здесь перечислены самые часто встречаемые.
Таким образом, аудит процесса валидации – неотъемлемая часть процесса моделирования, позволяющая не только максимально провести анализ соответствия полученного результата и максимально достоверного значения, но и выявляющая проблемные места как в самом алгоритме и допущениях, так и в источниках данных.