Превью для статьи

Классификация текста с использованием моделей трансформеров

Модели трансформеров на данный момент являются state-of-the-art решениями в мире обработки естественного языка. Новые, более крупные и качественные модели появляются почти каждый месяц, устанавливая новые критерии производительности по широкому кругу задач. В данной статье мы будем использовать модель трансформера для бинарной классификации текста. Для работы с текстом существует большое количество решений. Самая простая и популярная […]

Превью для статьи

Парсинг и обработка данных из сети интернет без использования программирования на примере анализа отзывов.

Рассмотрим, как можно использовать всего лишь один универсальный инструмент для полноценного процесса анализа от сбора информации до визуализации итогов в рамках конкретной задачи. В качестве такого инструмента в данном случае выступает Power BI.

Превью для статьи

QlikView Tips and Tricks vol.1

Зачастую при разработке DashBoard в QlikView возникают нетривиальные задачи, которые по тем или иным причинам невозможно решить с помощью обычных средств. Требуется иметь долю смекалки и воображения, чтобы, используя только стандартные объекты QV, сделать то, что на первый взгляд нереализуемо. Расскажу о некоторых необычных кейсах, которые мне приходилось решать во время разработки DB и способах их реализации.

Превью для статьи

Распознавание нейросетью фейковых новостей по их тексту

Каждый день в сети появляется огромное количество «фейковых» новостей. Обычный человек, даже при наличии у него некоторых навыков, может принять «фейковую» новость за реальную. В таком случае на помощь приходят нейронные сети

Превью для статьи

Три подхода к анализу текстов

Один из способов проанализировать текст на первоначальном этапе – выделить в нем ключевые слова. Это помогает раскрыть содержание текстов более подробно, несильно вчитываясь в суть. Однако анализ ключевых слов можно провести в рамках разных задач, решаемых с помощью NLP (Natural Language Processing).
Рассмотрю три подхода выделения ключевых слов в тексте, применяемых в рамках разных задач анализа текста.

Превью для статьи

Использование библиотеки vaex для обработки больших объёмов данных

При работе с большими датасетами, используя стандартные средства Pandas, может возникнуть проблема недостатка оперативной памяти, что приведёт к невозможности обработать эти данные. Для таких случаев был разработан ряд вспомогательных библиотек, рассмотрю одну из них – vaex

Превью для статьи

Шифрование информации в Linux

В настоящее время происходит активное внедрение цифровых технологий в различные сферы человеческой жизни, поэтому вопрос защиты информации при её хранении и передаче является особенно актуальным.
Я расскажу о том, как сохранить конфиденциальность своей информации с помощью инструмента GPG.

Data News