Современные алгоритмы обработки естественного языка вызывают немалый ажиотаж даже среди людей, мало слышащих про машинное обучение. И вот, не успел ещё стихнуть шум обсуждений про возможности GPT-3 от OpenAI, как нам показали ещё одну работу их команды в области ИИ, которую назвали в честь Сальвадора Дали и робота ВАЛЛ·И – DALL-E

ruGPT-3 – крупнейшая нейросеть для русского языка. Модель представлена Sberdevices в ноябре 2020 года. ruGPT-3 демонстрирует state-of-the-art возможности для русского языка и умеет продолжать любой текст. Размер модели от 125 млн до 13 млрд параметров. Модель показывает отличные результаты без дообучения для различных типов задач, это является главной особенностью моделей типа GPT(Generate Pretrained Transformers). Более подробно можно прочитать здесь.

Языковые модели все плотнее входят в нашу жизнь. Они используются в системах распознавания речи, системах обработки естественного языка, системах машинного перевода и многих других приложениях. В то же время их обучение происходит с использованием все большего количества данных.

GPT-3 — нейронная сеть, наделавшая шума в 2020 году, как самая сложная, объёмная и многообещающая модель по работе с текстовыми данными. В октябре этого же года команды из SberDevices на основе статьи от OpenAI и кода модели GPT2 смогли разработать русскоязычный аналог под название ruGPT-3. За счет универсальности и гибкости модели ее можно использовать не только для создания текста, но и в десятках других сложных сценариев.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Когда у нас возникла потребность в обработке данных и развертывании тяжеловесной модели глубокого обучения, с привлечением высокопроизводительных ресурсов, таких как обучение на графических ускорителях GPU и ввиду отсутствия таковых ресурсов на стационарных ПК, мы приняли решение воспользоваться услугами облачной платформы Sber Cloud, с целью аренды GPU для подобного рода вычислений на площадке ML Space. Расскажем об опыте его использования