В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

В этой статье мы рассмотрим функцию replace и созданную пользовательскую функцию Rep_ASCII, позволяющие упростить очистку данных от печатаемых и непечатаемых символов ASCII, что является наиболее сложным в процессе ETL

Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.

В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.

Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?

Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.

В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе

В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.

Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.

Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.

Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.

В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON

В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.

Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.

Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи

В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку

BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации

При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений

Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами

Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.

Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.

При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.

В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.

Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.

Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.

Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.

CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]

Зачастую аудиторские документы и акты написаны достаточно сложным языком, применяются слишком длинные слова или же слишком длинные предложения, трудные для восприятия речевые обороты. Таким образом, чтобы результаты аудиторских проверок были понятны для каждого человека, необходимо упрощать текст. Но перед тем, как текст упростить, необходимо сначала измерить его сложность с помощью специальных индексов, о которых пойдет речь в данной статье.

В этой статье расскажем о методе извлечения информации из текстовых сообщений чата компании. Посмотрим высоко-рисковые чаты, которые содержат случаи игнорирования клиентов и требуют дополнительного анализа и решений. Применим одну из моделей NLP

Доброе утро!
Сегодня расскажем о библиотеке анализа естественного языка Stanza от Stanford NLP Group, предоставляющую превосходный инструментарий для решения задачи NER по распознаванию именованных сущностей в тексте — имён людей, названий населённых пунктов, организаций, дат и т.д.

В современном мире, где объем информации растёт с каждым днём, важно уметь ее структурировать, разделять и анализировать внутри групп. Например, ежедневно пользователи социальных сетей получают 1 209 600 новых данных. Так, проблемой разбиения данных занимается классификация – она помогает сократить время на обработку данных и их группировку. Но вручную обрабатывать огромные объемы данных считается уже моветоном, ведь если правильно подать информацию компьютеру, он сможет сделать работу в несколько раз быстрее. В данной статье мы продемонстрируем одни из известных видов классификации текстов и покажем, насколько важен выбор алгоритма для получения определенных конечных результатов.

В данной статье мы рассмотрим задачу выявления токсичных комментариев с приемлемым качеством и при минимальном использовании ресурсов, что может быть полезно при отсутствии мощных серверов для проведения предсказания.

При построении нейронных сетей перед нами часто встаёт вопрос правильного выбора функции потерь, используемой для формирования соответствий между входными и выходными параметрами. В рамках данной статьи мы рассмотрим три функции потерь для нейросетей, решающих регрессионные задачи.

В современном мире существуют разные системы управления, которые представляют собой рабочее пространство для ведения проектов. Одной из таких систем является Jira. Система Jira помогает пользователям обмениваться информацией, отслеживать соблюдение сроков выполнения работы, а также просматривать прогресс решения задач.