Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений

Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами

Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.

Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.

При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.

В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.

Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.

Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.

Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.

CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений

Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами

Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.

Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.

При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.

В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.

Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.

Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.

Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.

CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]

Резюмирование текста — это метод NLP (обработка естественного языка), который извлекает текст из большого количества данных. Это помогает в создании более короткой версии имеющегося большого текста, а также: Сокращает время чтения; Помогает улучшить исследовательскую работу; Увеличивает объем информации, который может уместиться в области. Существуют методы резюмирования статей: основанный на NLP и глубокого обучения. Здесь мы рассмотрим […]

Зачастую аудиторские документы и акты написаны достаточно сложным языком, применяются слишком длинные слова или же слишком длинные предложения, трудные для восприятия речевые обороты. Таким образом, чтобы результаты аудиторских проверок были понятны для каждого человека, необходимо упрощать текст. Но перед тем, как текст упростить, необходимо сначала измерить его сложность с помощью специальных индексов, о которых пойдет речь в данной статье.

Как заменять слова в текстовых последовательностях с помощью Python, используя модуль FlashText, который предоставляет собой один из наиболее эффективных способов замены большого набора слов в текстовом документе.

Как увеличить скорость загрузки скриншотов с серверов телевизионных систем видеонаблюдения (ТСВ)? В данной статье мы расскажем, какие инструменты позволяют ускорить загрузку скриншотов.

Интересная тема для обсуждения, не так ли? Для начала обратимся к предыдущей статье цикла, описывающей применение методов NLP в аудите, где я использовал линейную обработку русскоязычного текста. Посмотреть статью можно здесь в открытом доступе: https://newtechaudit.ru/nlp-i-audit/

Во время развития киберпреступности, необходима достойная безопасность данных. Эти данные можно шифровать. Существует различные алгоритмы шифрования, но все они либо уже взломаны, либо будут в скором времени. Лучше всего использовать алгоритм шифрования ECIES, так как он постквантовый, и взломать его не является возможным еще примерно 100 лет. Как реализовать шифрование и дешифрование данных на языке Python? Именно этому вопрос и посвящен материал данной статьи.

Computer Vision (CV) – это набор методов, который наделяет компьютер способностью «видеть» и извлекать информацию из изображений и видео и он может быть использован в качестве инструмента для повышения эффективности аудита массовых нарушений в точках продаж.
В данной статье мы расскажем, как сформировать базу скриншотов из архива телевизионных систем видеонаблюдения (ТСВ) в точках продаж для последующего анализа с применением инструментов СV.

При работе с большим количеством текстовых данных часто возникает потребность в усечении текста с целью выделения основной его сути. В целом, наличие краткой аннотации или автореферата документов может значительно ускорить процесс их обработки и фильтрации.

Дата-аналитик редко сталкивается только с одним видом баз данных. Это может быть база Oracle, MS SQL, TERADATA, Облако данных и другие.
Иногда есть возможность импорта в базу данных, но, когда его нет, на помощь приходит Python совместно с оператором SQL IN. Особенно удобно его использовать в базе данных Oracle, но есть способ и для T-SQL.

Недавно я принял участие в конкурсе, результатом которого является модель для распознавания болезни тропического растения Маниока. Это растение содержит ядовитую синильную кислоту, а после обработки становится важным продовольственным сырьем. На высокий урожай Маниоки рассчитывают более 800 млн. жителей Африки, но этот клубнеплод подвержен различным заболеваниям.

При исследовании процесса методами Process Mining одним из важнейших методов оценки процесса является концепция 6 sigm. В этой статье я хочу рассказать об одном из возможных вариантов реализации этого алгоритма на языке python. Ставим задачу: «Необходимо получить идентификаторы событий, которые выходят за рамки 6 sigm процесса». Для решения поставленной задачи необходимо рассчитать несколько величин на […]

Бывают такие случаи в анализе процессов, когда данных не очень много, а действия в процессах хаотичны. И что делать? Конечно, анализировать. Для этого будем использовать привычные инструменты: python и excel.

В анализе процессов все средства хороши, и чем их больше – тем лучше. Расскажем ещё про один метод исследования данных с помощью Process Mining. Алгоритм rules checking позволяет проверить последовательность действий таким образом, чтобы выделить только те активности, которые интересны пользователю.

Мода на «правильные» инструменты разработки и анализа постоянно меняется. В 2020-м году наиболее востребованным был Process Mining. Он помог увидеть — как протекают процессы компании в действительности. Сегодня расскажем про построение лога на основе электронного следа события (для применения технологии Process Mining).

В период финансового кризиса, вызванного пандемией COVID-19, коммерческие организации обращают особое внимание на оптимизацию расходов во всех сферах деятельности. Кроме этого, в пик заболеваемости COVID-19 важно сократить социальные контакты между людьми, например, путем перевода клиентов из офисов в удаленные каналы обслуживания, в частности, на устройства самообслуживания.
С помощью визуализации процесса нам удалось обнаружить ряд недостатков.

Что первое приходит в голову, когда вы слышите о «Process mining»? Я приставляю граф процесса, состоящий из n вершин и m ребер. Для чего он нужен? думаю все и так знаю, он помогает анализировать переходы между активностями. Все это замечательно, когда активностей и переходов мало.

В последнее время всё чаще сотрудники службы внутреннего аудита анализируют с использованием инструментов Process mining процессы в деятельности компании.
Зачастую, после прохождения всех этапов Process mining и получения необходимых результатов исследования процесса, возникает резонный вопрос – каковы причины выявленных отклонений? Хорошо, если в проектной команде принимает участие специалист из подразделения владельца процесса, который на практике знаком с вопросами организации, координации и контроля деятельности исполнителей на этапах реализации процесса в компании. Что делать, если такого специалиста в команде «исследователей» нет?