В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.

В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.

В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.

Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.

В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.

Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.

Gephi – инструмент для интерактивной визуализации данных, стремительно набирающий свою популярность. На сайте NTA уже можно найти несколько статей с информацией о самой программе, её возможностях, алгоритмах укладки графов. В нашей работе мы бы хотели осветить фильтрацию данных в Gephi.

Сегодня в статье рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.

В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.

В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.

Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.

В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.

Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.

Gephi – инструмент для интерактивной визуализации данных, стремительно набирающий свою популярность. На сайте NTA уже можно найти несколько статей с информацией о самой программе, её возможностях, алгоритмах укладки графов. В нашей работе мы бы хотели осветить фильтрацию данных в Gephi.

Сегодня в статье рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.

В статье рассмотрим применение библиотеки MMDetection для распознавания объектов на изображениях.

Как удалить белый фон с изображения и сделать его прозрачным? Делюсь опытом использования Computer Vision для вырезки фона даже на сложных изображениях в виде схем.

Очень часто аналитики сталкиваются с неструктурированными файлами, которые необходимо обработать и проанализировать. Обычно базовых функциональных возможностей MS Excel хватает для выполнения подобных задач. Но что делать, если уровень обработки файла выходит за рамки этих возможностей? Ответ прост – использовать Python и библиотеку pandas, которая предназначена для обработки и анализа данных.

Обнаружение сонливости водителя продиктовано потребностью безопасности – разработка приложения для обнаружения в режиме реального времени позволит избежать серьезных происшествий в тот момент, когда водитель переутомлен. В статье рассмотрим использование библиотек языка программирования Python, которые позволяет выполнить программную реализацию системы обнаружения сонливости водителя.

В статье я расскажу, как легко и просто создавать свои QR-коды, добавлять в них логотип и расшифровывать любой QR-код

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

Главное преимущество Pickle является то, что с его помощью можно хранить не только табличные, но и любые другие данные, в том числе любые объекты Python.

Продолжаем рассматривать различные методы укладки инструмента Gephi.

Лайфхак SQL. Как соединить две очень большие таблицы и выгрузить из них данные? Спойлер – никак, в статье мы рассмотрим пример выгрузки данных из двух очень больших таблиц без прямого JOIN-а

Evidently помогает оценивать и контролировать модели в производственной среде. Сегодня я расскажу как создать такой отчет.

Регулярные выражения в ETL процессах позволяют существенно облегчить поиск текстовых выражений и/или замену текстовых выражений по заданным шаблонам. Существенное облегчение заключается не только в использовании одной функции, но и скорости обработки текстовых выражений в отличие от использования нескольких встроенных строковых функций таких как SUBSTRING, REPLACE, TRIM и других.

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Предлагаем ознакомиться с описанием метода создания программного модуля, осуществляющего отображение в реальном времени потокового видео с IP-камеры по протоколу RTP в среде Unity 3D.

Ранее был рассмотрен вопрос об объединении нескольких одинаковых Excel-файлов в один с помощью несложной программы на языке программирования C#. Но также может возникнуть и обратная ситуация, когда один большой файл нужно разделить на несколько.

В организациях многие официальные документы заполняются по определенным шаблонам. Но когда появляется задача проанализировать такие документы или вытащить из них информацию для загрузки в базу данных, то это может быть довольно сложной задачей. Пользователи зачастую нарушают структуру исходного шаблона и «парсинг» файлов становится довольно проблематичным. В данной статье рассмотрим одно решение, которое поможет избежать подобных проблем.

Как заставить алгоритм отработать “пятилетку за четыре года”? В DS-коммьюнити самым популярным языком является Python, однако по ряду причин, как то динамическая типизация, он имеет проблемы с оптимизацией скорости выполнения. И тут в голову пришла мыслишка: а что если… использовать более “скоростной” язык?

Как не тратить драгоценное время на объединение Excel-файлов одинакового формата в один файл? Расскажем в статье…