Время прочтения: 4 мин.

Любая компания предоставляет клиентам как внешним, так и внутренним — услуги. Если компания оказывает не сотни, а тысячи услуг — выбрать аудитору сервис для проверки становится значительно сложнее. Как же из этого множества выделить потенциально проблемный сервис, нестабильная работа которого может представлять собой риски для компании?

Для каждой услуги в соответствии с международными стандартами определяются параметры качества, которые рассчитываются по отчетным сервисным системам. Выявить потенциально проблемный сервис, опираясь только на них, очень часто не представляется возможным.

Для предварительной оценки и поиска таких сервисов можно использовать рейтингование сервисов с помощью методов Data Science.

Такая задача является классическим примером Unsupervised Anomaly Detection (т.е. поиск аномалий в данных без тестового набора). Большинство сервисов и услуг считаются «нормальными», а аномалиями являются те, что наименее всего соответствуют остальной части данных.

Стоит отметить, что отнесение сервиса к аномальным не дает однозначной оценки для сервиса, что он является «плохим». Данный метод просто позволяет выделить те сервисы, параметры качества которых отклоняются от параметров большинства других сервисов. Решать, можно ли на основании этих отклонений считать сервис проблемным, должен уже аналитик.

В качестве метода для обнаружения таких явлений можно использовать Isolation Forest. Идея данного алгоритма основана на следующем принципе: проводится случайное разбиение пространства признаков, такое, что изолированные точки отсекаются от нормальных кластеризованных данных. Окончательный результат усредняется по нескольким запускам стохастического алгоритма. Алгоритм распознает аномалии различных видов: как изолированной точки с низкой локальной плотностью, так и кластеры аномалий малых размеров.

Такой метод был выбран для оценки и анализа свыше 1600 ИТ-сервисов компании. На рисунке 1 изображены выбросы Isolation Forest по признаку исполнения обращений клиентов для всех сервисов компании.  Для визуализации в двумерном виде пространство признаков декомпозировано с помощью алгоритма PCA. Синий кластер представляет собой группу «нормальных» сервисов, оранжевые точки – сервисы, отнесенные к «аномальным», показатели исполнения которых отличаются от «нормальных».

Рисунок 1

Для каждого показателя качества сервиса в рамках задачи сначала строились отдельные рейтинги (качество исполнения обращений и работа с возникающими в сервисах рисками, проблемами, дефектами), чтобы можно было выполнить анализ по каждому аспекту. Затем им присваивались различные веса и формировался общий рейтинг по всем показателям сразу для более общего и целостного анализа.

Для формирования «фич» (признаков, используемых для обучения модели) по качеству исполнения обращений использовались приоритет события, отказы, переназначения, длительность и своевременность решения, возвраты, оценки выполнения и наличие жалоб.  Для второй части рейтинга использовали отношения открытых рисков, проблем, количество просроченных мероприятий, определение корневой причины, наличие постоянного или обходного решения, доли выявленных в ходе промышленной эксплуатации дефектов, их критичность и технический долг.

Для измерения статистической значимости признаков использовались формулы с натуральным логарифмом, мат. ожидание оценки, экстремальное значение Ln(х)2 для усиления  возможности выбросов по фич с очень коротким и очень длительным временем решения.

Нахождение фич на звеньях процесса подсвечены на рисунке желтым маркером.

Рисунок 2

В задаче рейтингования сервисов важно найти сервисы, которые не улучшаются на текущий момент или остаются на таком же низком уровне. Используя сгенерированные признаки, осуществлялось выявление аномалий для каждого месяца отдельно. Итоговый показатель представлял собой взвешенную сумму предсказаний, в качестве веса выступала мера близости месяца к текущей дате.

Итогом проекта стало рейтингование сервисов, где наиболее худшей считалась услуга, в которой имеются или сохраняются проблемы с качеством исполнения обращений клиентов, а также на низком уровне проводятся мероприятия по совершенствованию сервиса.

Таким образом, на практике была подтверждена эффективность метода Isolation Forest для выявления аномалий в сервисах и расчета рейтинга предоставляемых компанией услуг. В дальнейшем, выбирая, основываясь на данном рейтинге, сервис, аудитор осуществляет детальный анализ и предлагает владельцу мероприятия для совершенствования качества услуги.