Рассмотрю кейс поиска «близнецов» в паспортных данных, которые были размещены в pdf-файлах, насчитывающих десятки, а порой и сотни страниц

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Нередко возникают ситуации, когда в обучающем наборе данных доля примеров некоторого класса слишком мала. Данное явление называется классовым дисбалансом, и эта проблема в дальнейшем усложняет обучение нейронных сетей. Рассмотрим различные методы в рамках стратегии увеличения числа примеров миноритарного класса, позволяющие решить эту проблему.

Подготавливаем данные для тренировки нейросети. Убираем проблему дисбаланса данных, удаляя экземпляры из класса с большим числом записей.