Анализ тональности текста с использованием словарей эмотивной лексики
28.10.2021
Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.
Доработка модуля поиска дат в Natasha
28.10.2021
Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.
Классификация текста при помощи модуля LingPipe
27.10.2021
Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.
Анализ логов Windows средствами Powershell
27.10.2021
Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.
Кастомизация токенизатора Razdel
26.10.2021
При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.
Многопотоковая обработка файлов
26.10.2021
В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.
Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Анализ тональности текста с использованием словарей эмотивной лексики
28.10.2021
Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.
Доработка модуля поиска дат в Natasha
28.10.2021
Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.
Классификация текста при помощи модуля LingPipe
27.10.2021
Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.
Анализ логов Windows средствами Powershell
27.10.2021
Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.
Кастомизация токенизатора Razdel
26.10.2021
При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.
Многопотоковая обработка файлов
26.10.2021
В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.
Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Как мы решали задачу стегоанализа, применяя глубокое обучение
20.10.2021
В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.
Менеджер контекста with в Python
20.10.2021
Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.
Контроль масочного режима среди определенной категории людей с помощью инструментов Computer Vision
19.10.2021
Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.
Исследования в области распознавания русского рукописного текста при помощи нейросетевых технологий. Реализация и тестирование прототипа
19.10.2021
Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.
Создаём простую рекомендательную систему по курсам обучения на основе ruGPT-3
18.10.2021
Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.
Генерация синтетических табличных данных на Python
18.10.2021
Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.
Сегментация изображений c помощью Python
15.10.2021
Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.
Понять регулярные выражения в Python
15.10.2021
В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.
Стандартизация адресов с Elasticsearch
14.10.2021
Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.
Сравнение различных видов ML классификаторов в задаче распознавания сигналов
14.10.2021
Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.
Анализ тональности текста с использованием словарей эмотивной лексики
28.10.2021
Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.
Доработка модуля поиска дат в Natasha
28.10.2021
Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.
Классификация текста при помощи модуля LingPipe
27.10.2021
Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.
Анализ логов Windows средствами Powershell
27.10.2021
Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.
Кастомизация токенизатора Razdel
26.10.2021
При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.
Многопотоковая обработка файлов
26.10.2021
В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.
Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Как мы решали задачу стегоанализа, применяя глубокое обучение
20.10.2021
В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.
Менеджер контекста with в Python
20.10.2021
Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.
Контроль масочного режима среди определенной категории людей с помощью инструментов Computer Vision
19.10.2021
Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.
Исследования в области распознавания русского рукописного текста при помощи нейросетевых технологий. Реализация и тестирование прототипа
19.10.2021
Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.
Создаём простую рекомендательную систему по курсам обучения на основе ruGPT-3
18.10.2021
Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.
Генерация синтетических табличных данных на Python
18.10.2021
Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.
Сегментация изображений c помощью Python
15.10.2021
Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.
Понять регулярные выражения в Python
15.10.2021
В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.
Стандартизация адресов с Elasticsearch
14.10.2021
Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.
Сравнение различных видов ML классификаторов в задаче распознавания сигналов
14.10.2021
Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.
Обзор токенизаторов, входящих в состав библиотеки NLTK
13.10.2021
Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.
Простая обработка возобновляющихся данных или как создать легко воспроизводимый DS проект.
13.10.2021
Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.
Java – темный случайный лес
12.10.2021
Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.
Полезные команды в PowerShell для работы с данными.
12.10.2021
В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.
Самостоятельная разметка данных для распознавания русского рукописного текста
11.10.2021
В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.
Способы упрощения текстов: плюсы, минусы, альтернативы.
11.10.2021
Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.
Быстрая разработка прототипа HTR системы на открытых данных
08.10.2021
В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.
NLP: Обработка обращений жителей: иерархическая кластеризация текстов
08.10.2021
Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.
Active learning для разметки своими руками
07.10.2021
В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.
Готовим нестандартные данные для нейросети
07.10.2021
Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.