Обработка естественного языка одно из востребованных направлений машинного обучения, которое постоянно развивается. В 2018 году компания Google представила новую модель — BERT, сделавшую прорыв в области обработки естественного языка. Несмотря на то, что сейчас у BERT много конкурентов, включая модификации классической модели (RoBERTa, DistilBERT и др.) так и совершенно новые (например, XLNet), BERT всё ещё остается в топе nlp-моделей.

LSTM (Long short-term memory) или «сети долгой краткосрочной памяти» активно используются в задачах генерации текста, в частности — подписей к изображениям. Аннотации помогают пользователю найти нужную ему картинку, например, по краткому описанию. Представляем разбор применения алгоритмов машинного обучения с использованием технологий LSTM для создания текстов.

GPT-3 — нейронная сеть, наделавшая шума в 2020 году, как самая сложная, объёмная и многообещающая модель по работе с текстовыми данными. В октябре этого же года команды из SberDevices на основе статьи от OpenAI и кода модели GPT2 смогли разработать русскоязычный аналог под название ruGPT-3. За счет универсальности и гибкости модели ее можно использовать не только для создания текста, но и в десятках других сложных сценариев.