Рассмотрим одну из самых больших проблем в машинном обучении – переобучение (overfitting). Статья рассчитана на читателей, которые не занимаются непосредственно построением моделей, но при этом так или иначе работают с ними, анализируют их качество и результаты.

Часто при первичной обработке данных, участники DS соревнований сталкиваются с проблемой «грязных зашумленных» данных. Беспорядочные колебания значений признаков (шумы) могут иметь самую разнообразную природу и являются основной проблемой машинного обучения. В связи с этим возникает необходимость очистки/фильтрации данных – восстановления исходного сигнала на фоне помех.

Во время обучения модели столкнулись с несбалансированными данными? Расскажем вам об инструменте, который поможет решить данную задачу.