Обработка естественного языка одно из востребованных направлений машинного обучения, которое постоянно развивается. В 2018 году компания Google представила новую модель — BERT, сделавшую прорыв в области обработки естественного языка. Несмотря на то, что сейчас у BERT много конкурентов, включая модификации классической модели (RoBERTa, DistilBERT и др.) так и совершенно новые (например, XLNet), BERT всё ещё остается в топе nlp-моделей.

Возможно ли получить достаточно информации из суммаризированного текста новостных материалов? В этой статье постараюсь ответить на этот вопрос.

В нашей деятельности довольно часто приходится работать с большими объемами документов, к примеру, исполнительными листами, заявлениями, договорами, из текстов которых нам зачастую необходимо извлечь весьма конкретную информацию: ФИО, даты рождения, наименования должности, паспортные данные, адрес, ИНН и наименование компаний, даты подписания документов и так далее. Всё это относится к задаче распознавания именованных сущностей (NER). Так какие инструменты могут помочь нам в решении данной задачи для русского языка?

С помощью несложного текст майнинга можно узнать, за что дают подарки.

Передо мной стояла задача провести поиск по распознанным OCR документам с целью нахождения в них ключевых слов из списка. Поскольку в тексте могли встречаться ошибки распознавания, решено было использовать нечёткий поиск на базе rapidfuzz – самой быстрой библиотеки для нечёткого поиска на Python

Доброе утро, друзья!
В данной статье мы разберемся как можно обрабатывать текст и строить модель мультиклассовой классификации текста

В мире коммерции существует множество применений классификации текста. Например, новости часто сгруппированы по темам, контент или товары часто помечаются по категориям, а пользователей можно разделить на группы, в зависимости от того, как они отзываются о товаре в Интернете. Однако большинство статей в сети описывают бинарную классификацию, но чаще реальные задачи оказываются сложнее. В этой статье мы будем проводить мультиклассовую классификацию обращений в службу банка.