Как найти метрику «мечты» для ML?

В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста.
В этой статье мы выделим достоинства и недостатки различного рода метрик и расскажем как выбрать лучшую метрику.