Лайфхаки в аудите

Как провести Аудит процесса валидации Моделей?

Время прочтения: 4 мин.

В период пандемии автоматизация производственных процессов имеет решающее значение.

Некоторые задачи, например, такие как прогнозирование, принятие бинарных решений, классификация данных, мониторинг видеопотока и многие другие решаются при помощи построения компьютерных моделей. В настоящее время Модели имеют не только чисто научное применение-  их также используют в различных сферах жизнедеятельности.

На результат моделирования влияют следующие факторы:

— корректность входных допущений;

— обоснованность экспертного суждения;

— корректность, полнота, однородность входных данных;

— актуальность и диапазон временного разброса;

— упрощение модели;

— ошибки при построении модели;

— погрешности метода расчетов;

— оценка результатов и др.

Валидация модели – это процесс определения уровня соответствия разрабатываемой модели реальному  процессу в рамках области ее планируемого использования. Иными словами, это отладка модели до состояния, удовлетворяющего конечного пользователя / заказчика продукта, и соответствия изначальным требованиям и ожиданиям.

Валидация необходима не только для корректировки существующей модели, но и для понимания заказчика и разработчика модели о точности работы модели и ее погрешности, так как при существенных погрешностях теряется смысл ее работы.

В качестве примера рассмотрим Модели, валидация которых регламентируется как на государственном, так и на международном уровне. К таким Моделям, например, относятся банковские рейтинговые Модели. Принципы и подходы к проведению их валидации в рамках реализации ПВР определены Базельским комитетом по банковскому надзору и включают в себя следующие принципы:

  1. Проверка предсказательной способности банковских оценок кредитного риска, а также того, насколько данные оценки интегрированы в бизнес-процессы банка.
  2. Полнота и правильность валидации собственных рейтинговых моделей.
  3. Итерационность процесса.
  4. Подходы  к проведению валидации.
  5. Методы валидации ( качественные и количественные).
  6. Независимая оценка Процедур и результатов внутренней валидации рейтинговых моделей.

Роль независимого оценщика Моделей как правило выполняет Служба внутреннего аудита. Аудит процесс валидации позволяет не только найти «западающие» зоны процесса моделирования, но и дать гарантию адекватности работы Моделей, в том числе сформулировать предложения по повышению эффективности ее работы.

Аудит Процесса валидации  Модели  включает в себя несколько этапов:

  1. Выбор модели и метода моделирования, проверка логичности, адекватности модели.

На данном этапе аудитором проводится сопоставление результатов расчетов с соответствующими данными действительности – процессами и закономерностями моделируемого процесса. Анализируется следование логики модели логике реального бизнес-процесса, выбирается модель, показавшая наилучшие результаты.

2. Проверка вводимых данных, их достоверности.

Оценивается корректность выбора данных, их полнота, схожесть, процесс их передачи в модель, а также поиск лучшего решения для обработки пустых данных.

3. Анализ процесса полноты тестирования и возможности включения модель в бизнес-процесс, анализ технических сложностей при внедрении.

Анализируется техническая часть бизнес-процесса, IT-составляющая затрагиваемых программ и СУБД, критичность сбоев в момент интеграции, последствия возрастания нагрузки на вычислительные мощности.

4. Оценка допущений и экспертных суждений, заложенных в модель.

Анализируется корректность и весомость допущений, принятых на этапе разработки модели.

5. Проверка данных, получаемых в процессе моделирования, на соответствие реальным данным, для описания и результирования которых создана Модель.

Данный этап поводится для подтверждения достоверности логики (структуры) модели. Полученные данные сопоставляются с имеющимися статистическими сведениями о моделируемом процессе.

6. Аудит сценариев Стресс-тестирования и тестовые алгоритмов.

Проводится анализ процесса тестирования модели с целью оценки устойчивости в условиях отклонения от нормального функционирования. Анализируется поведение модели при подаче различных по однородности и полноте данных.

7. Оценка Производительности.

 Оценивается продуктивность работы модели, а также анализируются способы повышения производительности.

8. Аудит процесса Управления и доступности модели.

Оценивается контроль над моделью со стороны заказчика, возможность влияния на результаты ее работы сторонних лиц, прочих участников бизнес-процесса, в обязанности которых входит только ее непосредственное использование, а также анализируется участие в оценке Модели экспертов от бизнес-процесса.

9. Оценка непрерывности процесса  проверки качества модели.

На данном этапе анализируется адекватность результатов работы модели и необходимость регулярного послед-контроля, зависящая от уровня значимости модели.

10. Прочие этапы, такие как проверка взаимозаменяемости моделей, независимости и др.

Данные этапы не являются и полным перечнем для проведения аудита валидации, вместе с тем,  здесь перечислены самые часто встречаемые.

Таким образом, аудит процесса валидации – неотъемлемая  часть процесса  моделирования, позволяющая не только максимально провести анализ соответствия полученного результата и максимально достоверного значения, но и выявляющая  проблемные места как в самом алгоритме и допущениях, так и в источниках данных.

Советуем почитать