NLP Machine Learning
Картинка анонса

Детекция токсичных комментариев на минималках, или как жить и делать NLP, когда отобрали GPU.

В данной статье мы рассмотрим задачу выявления токсичных комментариев с приемлемым качеством и при минимальном использовании ресурсов, что может быть полезно при отсутствии мощных серверов для проведения предсказания.

NLP Machine Learning
Картинка анонса

Детекция токсичных комментариев на минималках, или как жить и делать NLP, когда отобрали GPU.

В данной статье мы рассмотрим задачу выявления токсичных комментариев с приемлемым качеством и при минимальном использовании ресурсов, что может быть полезно при отсутствии мощных серверов для проведения предсказания.

NLP Machine Learning
Картинка анонса

Выбор функции потерь для задач построения нейронных сетей

При построении нейронных сетей перед нами часто встаёт вопрос правильного выбора функции потерь, используемой для формирования соответствий между входными и выходными параметрами. В рамках данной статьи мы рассмотрим три функции потерь для нейросетей, решающих регрессионные задачи.

NLP Machine Learning
Картинка анонса

Построение текстовой классификации задач из системы управления проектами методами Natural language processing.

В современном мире существуют разные системы управления, которые представляют собой рабочее пространство для ведения проектов. Одной из таких систем является Jira. Система Jira помогает пользователям обмениваться информацией, отслеживать соблюдение сроков выполнения работы, а также просматривать прогресс решения задач.

NLP Machine Learning
Картинка анонса

NLP и аудит.

Начнем с идеи. Помните, я демонстрировал небольшой очерк на тему парсинга сайтов в контексте аудита? Не помните – вот ссылка: https://newtechaudit.ru/parsing-i-audit/. Представьте теперь, что данные с сайта получены и готовы к обработке. К примеру, у вас есть желание выявить негативные комментарии со страницы отзывов и предложений, собрать статистические показатели успехов рекламных кампаний, кластеризовать по темам тексты заявлений или просто подготовить контент сайта к более детальной машинной или ручной аналитике. Но что может произойти? Люди любят писать с ошибками в орфографии или пунктуации, баловаться со склонениями или злоупотреблять служебными частями речи даже в официальных документах. Это серьезная подножка работе классификаторов, кластеризаторов, аналитиков и любителей чистого русского языка. Что же делать? Приведем далее некоторые базовые методы преображения текста и его подготовки к анализу. Как это делать? Воспользуемся Python и добавим немного математики!

NLP Machine Learning
Картинка анонса

Выбор модели машинного обучения для анализа тональности текста. От простого к сложному.

Существует множество возможностей использования NLP. В список самых полезных из них определённо входит анализ тональности текста. Вы хотите улучшить свой продукт, но боитесь обрекать пользователя на тяжеловесный фидбэк? Вы хотите составить объёмную статистику из ничего? А может, вы хотите провести конкурс на лучшую мотивационную речь? — Добро пожаловать в Sentiment analysis. Всё должно быть просто…
А если датасет на русском языке? А если элементы очень короткие, на сложную тему и общение происходит в среде, где принято не показывать своих эмоций? В данной статье будут рассмотрены логические этапы выбора модели от простого случая к самому сложному.

NLP Machine Learning
Картинка анонса

Оffline распознавание речи. Библиотека Vosk

Преобразование аудио в текст — популярная и повсеместно используемая технология. В этой статье я расскажу, как распознать речь из аудиофайла на своем ПК без использования онлайн сервисов

NLP Machine Learning
Картинка анонса

Обработка документов docx с параграфами и таблицами

Доброе утро, друзья.
Мы уже рассказывали как очистить текст от лишних символов, от стопслов, а сегодня хотим показать как обработать документ docx с параграфами и таблицами с сохранением последовательности текста внутри него.

Загрузить ещё