Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.

В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.

Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.

В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.

В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.

Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.

В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.

Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.

Gephi – инструмент для интерактивной визуализации данных, стремительно набирающий свою популярность. На сайте NTA уже можно найти несколько статей с информацией о самой программе, её возможностях, алгоритмах укладки графов. В нашей работе мы бы хотели осветить фильтрацию данных в Gephi.

Сегодня в статье рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.

В статье рассмотрим применение библиотеки MMDetection для распознавания объектов на изображениях.

Как удалить белый фон с изображения и сделать его прозрачным? Делюсь опытом использования Computer Vision для вырезки фона даже на сложных изображениях в виде схем.

В рамках эксперимента перед нами стояла задача выявления дополнительных способов передачи сигналов с одного персонального компьютера (далее — ПК) на другой. В данной статье речь пойдет про один из найденных экзотических способов – передаче файлов-инструкций через аудио разъем ПК. Шаг 1: Подготовка данных для передачи. Нами был создан файл с подготовленными данными для передачи (текст). […]

Звуковой сигнал небольшой длительности, от пяти до 10 миллисекунд, возможно исследовать, как при стационарном процессе, выделив кепстральные коэффициенты. Эти коэффициенты, по сути, являются графиком зависимости мощности от частоты сигнала отображающегося на векторе действительных чисел. В основе систем распознавания речи стоит скрытая марковская модель, а результатом данной модели является последовательность этих векторов. О том, как распознавать и анализировать речь с помощью библиотеки Speech Recognition, pyAudio и librosa расскажем в статье.

В последнее время набирают популярность средства Deep Fake, в частности, синтез речи человека на основе его голосовых слепков из аудиосообщений, записи телефонного разговора и публичных выступлений. Насколько они точно передают голос человека и его манеру речи? Насколько такие технологии опасны в руках мошенников? Попробуем разобраться!

Возможно ли узнать о чем аудиозапись, не просушивая её?
Сегодня поделимся опытом использования инструмента машинного обучения для распознавания речи.

Аудиторская деятельность год от года требует все более совершенных технологичных решений. В почете Digital Audit. Растет потребность в обработке естественного языка с помощью методов машинного обучения (nlp). Сегодня мы покажем, как с помощью инструмента DeepPavlov обучить классификатор для определения наличия «эмоциональности» в обращениях клиентов.

Внутренняя информация компании может передаваться в телефонных разговорах. Как проследить, разглашаются ли личные/закрытые данные, и предотвратить репутационные риски? Если аудитор будет слушать все записи разговоров, то на это уйдет больше 2 месяцев. Используя нейросети и NLP, мы можем преобразовать голос человека в текст и проанализировать его на наличие недопустимых слов

Качественный сервис влияет на лояльность клиентов и на решение о приобретении услуги.
Искусственный интеллект позволяет анализировать зоны роста как в уровне сервиса, так и в качестве продуктов, а значит, повышает прибыль компаний.