PyCaret — ML в несколько строк кода
03.08.2021
Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.
Как заменить регулярные выражения нейронной сетью?
03.08.2021
В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.
Игровой движок для 3D визуализации данных
02.08.2021
Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?
Разделение столбца с данными на несколько с помощью Python
02.08.2021
Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.
Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
PyCaret — ML в несколько строк кода
03.08.2021
Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.
Как заменить регулярные выражения нейронной сетью?
03.08.2021
В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.
Игровой движок для 3D визуализации данных
02.08.2021
Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?
Разделение столбца с данными на несколько с помощью Python
02.08.2021
Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.
Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
Методы укладки Gephi. Force Atlas и Force Atlas 2
27.07.2021
Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.
KEEP CALM and JSON
27.07.2021
В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON
Сравнение линейных моделей регрессии в Machine Learning
26.07.2021
В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.
Скользящие средние и Python
26.07.2021
Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.
Роль обратного распределения в построении нейросети
23.07.2021
Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье
Полиномиальная регрессия и метрики качества модели
23.07.2021
Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.
Визуализация Pandas фреймов
22.07.2021
Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.
Использование apimoex для получения актуальной информации с биржи
22.07.2021
Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи
Сравнение библиотек TENSORFLOW, KERAS и PYTORCH для MACHINE LEARNING
21.07.2021
В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку
Аннотирование текстов при помощи BERT
21.07.2021
BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации
PyCaret — ML в несколько строк кода
03.08.2021
Сегодня постараемся разобраться в некоторых тонкостях данной библиотеки на примере встроенного в PyCaret датасета.
Как заменить регулярные выражения нейронной сетью?
03.08.2021
В данной статье мы рассмотрим, как заменить регулярное выражение нейронной сетью при поиске данных в текстовых файлах, и разберемся, как обработать текст и представить его в виде чисел для решения задачи.
Игровой движок для 3D визуализации данных
02.08.2021
Наверное, каждый из нас, анализируя набор данных, задумывался: «Как было бы полезно рассмотреть его со всех сторон, взглянуть на него под другим углом». Стандартная и уже привычная всем 2D визуализация не предоставляет нам такую возможность, но что, если использовать 3D?
Разделение столбца с данными на несколько с помощью Python
02.08.2021
Сегодня мы рассмотрим, как с помощью Python разбить столбец с данными на несколько отдельных колонок.
Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
Методы укладки Gephi. Force Atlas и Force Atlas 2
27.07.2021
Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.
KEEP CALM and JSON
27.07.2021
В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON
Сравнение линейных моделей регрессии в Machine Learning
26.07.2021
В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.
Скользящие средние и Python
26.07.2021
Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.
Роль обратного распределения в построении нейросети
23.07.2021
Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье
Полиномиальная регрессия и метрики качества модели
23.07.2021
Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.
Визуализация Pandas фреймов
22.07.2021
Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.
Использование apimoex для получения актуальной информации с биржи
22.07.2021
Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи
Сравнение библиотек TENSORFLOW, KERAS и PYTORCH для MACHINE LEARNING
21.07.2021
В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку
Аннотирование текстов при помощи BERT
21.07.2021
BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации
Автоматическая коррекция угла поворота изображения в задаче распознавания текста
20.07.2021
При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений
Анализ изображения с помощью фреймворка Easyocr
20.07.2021
Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами
Модели – SQL VS Java
19.07.2021
Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.
Graph mining для решения транспортной задачи
19.07.2021
Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.
Pyvis новый инструмент в работе с сетевыми графами.
16.07.2021
При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.
Построение графов с помощью библиотеки PyViz на основе текстового анализа ESG стратегий отдельных компаний.
16.07.2021
В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.
Аналитика в Python
15.07.2021
Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.
Улучшаем Python код с помощью map, filter, reduce
15.07.2021
Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.
Нейросети в исследовании процессов
14.07.2021
Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.
Создание классификатора областей изображения на основе сверточной нейронной сети
14.07.2021
CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]