В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений

Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами

Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.

Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.

При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.

В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.

Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.

Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.

Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.

CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]

Как много пользователей просматривает ваш отчет в Power BI? Что если вам нужно ограничить доступ к данным отчета? Рассмотрим как разграничить права в Power BI?

Использование Python и PowerBI при аудите процесса управления имуществом.

Если посмотреть, как развивался Power BI, то можно с уверенностью сказать, что сейчас это полноценный набор отдельных надстроек Microsoft в одном ПО. В 2011 понимать, что с чем взаимодействует, мог только знающий специалист. Компания приняла решение создать BI-систему, но выпустила её только в 2015 году. В то время на рынок уже вышел конкурент с похожим ПО — Olikvew. Сегодня Power BI, несомненно, радует своей функциональностью. Поделимся кейсом по рейтингованию сотрудников, которые мы используем для оценки их эффективности.

Любая компания нуждается в инструментах для анализа и визуализации больших данных.
Поделюсь опытом практического сравнения при работе с лучшими инструментами для визуализации, таких как Tableau, Qlik Sense и Power BI

Структура современного программного обеспечение (ПО) строго типизирована, и не всегда удается выгрузить требуемые данные. Расскажем как рассчитать определенные показатели в разрезе профильных отделов если выгрузка из ПО не содержала такой информации?

Машинное обучение в Power BI. Звучит довольно необычно, правда?
С недавних пор в Power BI реализовано машинное обучение на AutoML, однако воспользоваться этим функционалом могут не все пользователи. Так давайте же разберемся с тем, как обойти это ограничение с помощью Python

Доброе утро, подписчики! Мы, аудиторы, часто сталкиваемся с задачей визуализации данных. Как быстро визуализировать, если в файле формата MS Excel в одной ячейке содержатся данные, которые нужны нам как разные составляющие?