Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.

Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.

Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.

Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.

При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.

В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.

Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.

Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.

Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.

Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.

При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.

В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.

Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.

Не так давно мы рассматривали способы доработки библиотеки для разбиения текста на предложения, теперь же поговорим о поиске дат в этих предложениях.

Задача классификации является одной из самых распространенных задач машинного обучения. Определить принадлежность птицы к одному из видов, определить токсичные комментарии к видео, направить обращение в нужный отдел — все это частные случаи задачи классификации.

Проникновение во внутреннюю сеть организации часто начинается с заражения рабочей станции сотрудника, например, с применением фишинговой рассылки. Анализ логов является одним из основных этапов проведения аудита, расследования инцидентов кибербезопасности.

При работе с текстовыми документами часто возникает необходимость разбить содержимое этого документа на отдельные строки для дальнейшей работы с ними. Для решения этой задачи существуют различные токенизаторы. Однако, документы, обрабатываемые в банковской сфере, очень часто имеют специфический формат и без дополнительной настройки эти токенизаторы плохо справляются со своей работой.

В работе по анализу данных иногда требуется обработать большое количество файлов, настолько большое, что обработка может занять неделю, другую. В этой статье вы познакомитесь с многопоточностью в Python и как я решал проблему обработки большого количества файлов.

Иногда у нас встречаются задачи по подсчету клиента потока. Мы можем считать очереди, заполнение общественных мест и т.д.

Представим, что нам поставили задачу посчитать поток машин в определенном месте в разное время. На ум приходит только то, что человеку фактически придется вручную произвести примерный расчет по тем или иным показателям.

Давайте попробуем автоматизировать данную задачу, так как на текущий момент у нас есть огромное количество инструментов и вычислительных мощностей.

Python – один из самых часто используемых при машинном обучении языков программирования. На данный момент насчитывается более 137 000 библиотек и 198 000 пакетов, применяемых в данной области. В сообществе DataScientist-ов наиболее популярны pandas, NumPy – для манипуляций с данными, matplotlib, seaborn, plotpy – для визуализации данных, scikit-learn, TensorFlow – для разработки моделей. Однако, в этой статье мы расскажем о малоизвестных в мире DS библиотеках.

В Python встроен механизм, позволяющий автоматически распределять и освобождать память. Тем не менее, понимание принципов работы с памятью может помочь писать более продуманный код.

Рассмотрим инструмент, который облегчит решение задачи анализа качества данных.

В статье показано с чего начать знакомство с GMap, как работать со слоями, тайлами, полигонами и добавлять маркеры.

В своей статье я покажу, как можно классифицировать текст с помощью Elasticsearch в различных сценариях.

В данной статье мы решим задачу распознавания стегосообщения в контейнере изображения и научимся пректировать архитектуру нейронной сети с помощью фреймворка pyTorch.

Python предоставляет очень широкий спектр инструментов, призванных облегчить жизнь разработчикам и увеличить их продуктивность. Сегодня я хочу рассмотреть один из таких инструментов, а именно менеджер контекста with.

Создаем систему, основанную на CV, способную выявлять случаи нарушения масочного режима.

Недавно мы работали над задачей автоматического распознавания русского рукописного текста. В этой статье я расскажу непосредственно про использованную нами модель (нейронную сеть), её архитектуру, тренировку и результаты, которых удалось достичь.

Продолжим экспериментировать с использованием русской версии модели GPT3. Мы в несколько строк построим простую, но полезную рекомендательную систему.

Всем привет! Сегодня речь пойдет об одной полезной области в Data Science – синтетические данные. Это данные, которые не получены напрямую из целевых источников, а являются смоделированными по набору условий или небольшому сэмплу реальных данных.

Одной из самых распространенных задач машинного обучения является сегментация объектов на изображении. Это крайне важный этап, так как в последующем, сегментированные изображения используются для обучения классификации либо же для вывода уже готового изображения. Поэтому к сегментации стоит относиться трепетно, и сегодня мы рассмотрим один из примеров, как это делать. Пример будет построен на сегментации животных: собак и кошек – на изображении.

В статье описаны основные обозначения и принципы действия регулярных выражений, необходимые для понимания возможностей инструмента. Приведены примеры задач, для решения которых могут быть использованы регулярные выражения.

Передо мной стояла задача сравнения большого количества адресов из разных баз данных с целью поиска совпадений. И единственным рациональным, на мой взгляд, решением было привести адреса к единому виду. Для нормализации адресов использован единый российский государственный адресный реестр — ФИАС, базы которого находятся в открытом доступе.

Задача состоит в классификации гидроакустических сигналов. Сонары (гидролокаторы) посылают звук высокой частоты в определенном направлении и получают отраженную звуковую волну. По характеристике этой волны можно сделать вывод, от чего именно она отразилась – от морской мины или же от подводного камня, скалы. Используемый для решения задачи набор данных был разработан сотрудником аэрокосмического технологического центра Полом Горманом в разгар холодной войны. Для получения данных металлический цилиндр и цилиндрическая горная порода, оба длиной около 1,5 метров, размещались на песчаном дне океана.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сегодня уделим внимание инструменту Kedro, который позволяет создавать структурированный проект анализа данных с простой настройкой и воспроизведением в другом рабочем пространстве.

Про решающие деревья уже писали и на JAVA их показывали. При этом все знают деревья сами по себе работают, мягко говоря, не очень. Поэтому, зачем нужно одно плохое дерево, если есть отличный лес. Про лес мы сегодня и расскажем. Конечно, тут может быть ремарка, что «про это уже сто раз рассказывали» – да, но это будет рассказ про лес на JAVA.

В этой статье я продемонстрирую возможности Windows PowerShell для работы с файлами в формате csv.

В данной статье я опишу наш опыт создания датасета для обучения модели распознавания рукописного текста.
Предварительный анализ работ по этой теме показал, что в публичном доступе отсутствуют размеченные наборы данных на русском языке. Доступные данные либо описывают английский текст, либо не доступны для коммерческого использования. Нам не подходило такое условие, поэтому единственным вариантом стало создание собственных данных.

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.

Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.

В глобальной сети можно встретить огромное число разнообразных наборов данных для обучения ваших моделей. Однако часто бывает так, что задача очень специфична и требует подготовки своего собственного уникального датасета. О том, как можно быстро и качественно разметить свои данные для задач CV вы узнаете из этой статьи.

Сегодня в статье я детально расскажу, как я создавал свой DataGenerator в Kaggle соревновании по определению наличия опухоли головного мозга по МРТ.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.

Сложно понять содержимое текста, если в нем встречается много незнакомых слов. Вариант решения этой проблемы – замена слов на близкие к ним по значению. Заменить слово на синоним можно, например, тремя способами – трансформером, word2vec и его модификацией — RusVectores.

Всем привет! Сегодня я хочу поделиться решением задачи по анализу жалоб граждан в Московскую мэрию, которую я реализовывал в рамках конкурса DSC.

Как исследовать комментарии клиентских менеджеров по результатам коммуникаций с клиентами? А если число разговоров измеряется миллионами? На помощь приходит NLTK.

Славянские языки, в том числе и русский, считаются довольно сложными для обработки. В основном, из-за богатой системы окончаний, свободного порядка слов и других морфологических и синтаксических явлений. Распознавание именованных сущностей (далее, NER) представляется трудной задачей для славянских языков, где синтаксические зависимости часто маркируются морфологическими чертами, нежели определенным порядком словоформ. Поэтому NER сложен для этих языков […]

Большой объём всевозможных текстовых сообщений представляет собой интерес с точки зрения текстового анализа, однако именно их количество создаёт ряд проблем, связанных с временем которое требуется на их обработку. Даже с учётом использования методов Natural Language Processing на подготовку данных и формирование модели может уходить большое количество времени, так что полезно понимать каким образом можно повысить скорость выполнения расчётов.

Зачастую аудиторские документы и акты написаны достаточно сложным языком, применяются слишком длинные слова или же слишком длинные предложения, трудные для восприятия речевые обороты. Таким образом, чтобы результаты аудиторских проверок были понятны для каждого человека, необходимо упрощать текст. Но перед тем, как текст упростить, необходимо сначала измерить его сложность с помощью специальных индексов, о которых пойдет речь в данной статье.