Возможно ли получить достаточно информации из суммаризированного текста новостных материалов? В этой статье постараюсь ответить на этот вопрос.

В последнее время в Data Science сообществе фокус исследований сместился в сторону качества данных. Если еще пару лет назад большинство специалистов утверждали, что при использовании подходящих алгоритмов проблему можно решить достаточно хорошо, то сейчас большое внимание уделяют оценке качества данных.

При работе с большим количеством текстовых данных часто возникает потребность в усечении текста с целью выделения основной его сути. В целом, наличие краткой аннотации или автореферата документов может значительно ускорить процесс их обработки и фильтрации.

В основе современных техник обработки естественного языка лежит множество операций: токенизация, POS-tagging, Named Entity Recognition (NER), построение синтаксических деревьев, определение семантической схожести слов. Модуль SpaCy поможет в решении каждой из этих задач, предоставив для этого самые удобные и быстрые инструменты.