Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Как мы решали задачу стегоанализа, применяя глубокое обучение
20.10.2021
В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.
Менеджер контекста with в Python
20.10.2021
Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.
Контроль масочного режима среди определенной категории людей с помощью инструментов Computer Vision
19.10.2021
Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.
Исследования в области распознавания русского рукописного текста при помощи нейросетевых технологий. Реализация и тестирование прототипа
19.10.2021
Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.
Создаём простую рекомендательную систему по курсам обучения на основе ruGPT-3
18.10.2021
Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.
Генерация синтетических табличных данных на Python
18.10.2021
Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.
Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Как мы решали задачу стегоанализа, применяя глубокое обучение
20.10.2021
В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.
Менеджер контекста with в Python
20.10.2021
Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.
Контроль масочного режима среди определенной категории людей с помощью инструментов Computer Vision
19.10.2021
Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.
Исследования в области распознавания русского рукописного текста при помощи нейросетевых технологий. Реализация и тестирование прототипа
19.10.2021
Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.
Создаём простую рекомендательную систему по курсам обучения на основе ruGPT-3
18.10.2021
Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.
Генерация синтетических табличных данных на Python
18.10.2021
Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.
Сегментация изображений c помощью Python
15.10.2021
Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.
Понять регулярные выражения в Python
15.10.2021
В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.
Стандартизация адресов с Elasticsearch
14.10.2021
Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.
Сравнение различных видов ML классификаторов в задаче распознавания сигналов
14.10.2021
Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.
Обзор токенизаторов, входящих в состав библиотеки NLTK
13.10.2021
Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.
Простая обработка возобновляющихся данных или как создать легко воспроизводимый DS проект.
13.10.2021
Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.
Java – темный случайный лес
12.10.2021
Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.
Полезные команды в PowerShell для работы с данными.
12.10.2021
В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.
Самостоятельная разметка данных для распознавания русского рукописного текста
11.10.2021
В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.
Способы упрощения текстов: плюсы, минусы, альтернативы.
11.10.2021
Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.
Подсчет автомобильного трафика методами Computer Vision
25.10.2021
Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.
Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.
Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.
Топ 8 «потайных» библиотек Python для ML в 2021 году
25.10.2021
Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.
Профилирование памяти при разработке на Python
22.10.2021
В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.
Автоматизируем проверку качества данных
22.10.2021
Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.
Работа с картами. GMap C#
21.10.2021
В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.
Классификация текста с Elasticsearch
21.10.2021
В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.
Как мы решали задачу стегоанализа, применяя глубокое обучение
20.10.2021
В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.
Менеджер контекста with в Python
20.10.2021
Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.
Контроль масочного режима среди определенной категории людей с помощью инструментов Computer Vision
19.10.2021
Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.
Исследования в области распознавания русского рукописного текста при помощи нейросетевых технологий. Реализация и тестирование прототипа
19.10.2021
Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.
Создаём простую рекомендательную систему по курсам обучения на основе ruGPT-3
18.10.2021
Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.
Генерация синтетических табличных данных на Python
18.10.2021
Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.
Сегментация изображений c помощью Python
15.10.2021
Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.
Понять регулярные выражения в Python
15.10.2021
В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.
Стандартизация адресов с Elasticsearch
14.10.2021
Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.
Сравнение различных видов ML классификаторов в задаче распознавания сигналов
14.10.2021
Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.
Обзор токенизаторов, входящих в состав библиотеки NLTK
13.10.2021
Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.
Простая обработка возобновляющихся данных или как создать легко воспроизводимый DS проект.
13.10.2021
Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.
Java – темный случайный лес
12.10.2021
Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.
Полезные команды в PowerShell для работы с данными.
12.10.2021
В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.
Самостоятельная разметка данных для распознавания русского рукописного текста
11.10.2021
В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.
Способы упрощения текстов: плюсы, минусы, альтернативы.
11.10.2021
Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.
Быстрая разработка прототипа HTR системы на открытых данных
08.10.2021
В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.
NLP: Обработка обращений жителей: иерархическая кластеризация текстов
08.10.2021
Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.
Active learning для разметки своими руками
07.10.2021
В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.
Готовим нестандартные данные для нейросети
07.10.2021
Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.
Использование встроенной фильтрации в Gephi
06.10.2021
Gephi – инструмент для интерактивной визуализации данных, стремительно набирающий свою популярность. На сайте NTA уже можно найти несколько статей с информацией о самой программе, её возможностях, алгоритмах укладки графов. В нашей работе мы бы хотели осветить фильтрацию данных в Gephi.
Простое эконометрическое прогнозирование.
06.10.2021
Сегодня в статье рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.
Применение библиотеки MMDetection для распознавания объектов на изображениях.
05.10.2021
В статье рассмотрим применение библиотеки MMDetection для распознавания объектов на изображениях.
Удаляем фон изображения с помощью Computer Vision.
05.10.2021
Как удалить белый фон с изображения и сделать его прозрачным? Делюсь опытом использования Computer Vision для вырезки фона даже на сложных изображениях в виде схем.
Pandas: работа с неструктурированными файлами.
04.10.2021
Очень часто аналитики сталкиваются с неструктурированными файлами, которые необходимо обработать и проанализировать. Обычно базовых функциональных возможностей MS Excel хватает для выполнения подобных задач. Но что делать, если уровень обработки файла выходит за рамки этих возможностей? Ответ прост – использовать Python и библиотеку pandas, которая предназначена для обработки и анализа данных.
Как бороться с сонливостью за рулём с помощью Python
04.10.2021
Обнаружение сонливости водителя продиктовано потребностью безопасности – разработка приложения для обнаружения в режиме реального времени позволит избежать серьезных происшествий в тот момент, когда водитель переутомлен. В статье рассмотрим использование библиотек языка программирования Python, которые позволяет выполнить программную реализацию системы обнаружения сонливости водителя.
Вебинар: Анализатор трафика мобильных приложений в аудите кибербезопасности
20.11.2020
Приглашаем на онлайн вебинар
Вебинар: Natural Language Processing.
08.10.2020
Вебинар: Технологии Computer Vision. Использование нейросетей для детекции объектов.
23.09.2020
Ссылка на github: https://github.com/Romandancer1/object-detection-example