Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
Методы укладки Gephi. Force Atlas и Force Atlas 2
27.07.2021
Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.
KEEP CALM and JSON
27.07.2021
В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON
Сравнение линейных моделей регрессии в Machine Learning
26.07.2021
В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.
Скользящие средние и Python
26.07.2021
Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.
Роль обратного распределения в построении нейросети
23.07.2021
Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье
Полиномиальная регрессия и метрики качества модели
23.07.2021
Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.
Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
Методы укладки Gephi. Force Atlas и Force Atlas 2
27.07.2021
Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.
KEEP CALM and JSON
27.07.2021
В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON
Сравнение линейных моделей регрессии в Machine Learning
26.07.2021
В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.
Скользящие средние и Python
26.07.2021
Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.
Роль обратного распределения в построении нейросети
23.07.2021
Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье
Полиномиальная регрессия и метрики качества модели
23.07.2021
Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.
Визуализация Pandas фреймов
22.07.2021
Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.
Использование apimoex для получения актуальной информации с биржи
22.07.2021
Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи
Сравнение библиотек TENSORFLOW, KERAS и PYTORCH для MACHINE LEARNING
21.07.2021
В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку
Аннотирование текстов при помощи BERT
21.07.2021
BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации
Автоматическая коррекция угла поворота изображения в задаче распознавания текста
20.07.2021
При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений
Анализ изображения с помощью фреймворка Easyocr
20.07.2021
Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами
Модели – SQL VS Java
19.07.2021
Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.
Graph mining для решения транспортной задачи
19.07.2021
Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.
Pyvis новый инструмент в работе с сетевыми графами.
16.07.2021
При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.
Построение графов с помощью библиотеки PyViz на основе текстового анализа ESG стратегий отдельных компаний.
16.07.2021
В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.
Можно ли научить модель понимать содержание текста?
30.07.2021
В школе каждый из нас сталкивался с пересказом текста: читаешь главу из 10 страниц, а дальше у тебя есть 5 минут, чтобы коротко изложить классу и учителю, что важного ты узнал из прочитанного. Невозможно выучить текст, как стихотворение, поэтому переработав прочитанную информацию, каждый из нас старался ее обобщить. То же самое в некотором приближении может повторить и модель машинного обучения.
Streamlit. Поиск кратчайшего пути
30.07.2021
Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!
Выявление наиболее значимых отклонений в процессе
29.07.2021
Сегодня рассмотрим несколько способов, которые помогут упростить анализ процесса и акцентировать внимание на важные места в процессе
Рецензирование DOCX на C#
29.07.2021
В этом году я учувствовал в конкурсе по реализации сервиса, который должен проверять формат оформления документов и вносить изменения в режиме правки. Существующие библиотеки либо не решали эту задачу вовсе, либо оказались платными. Было принято решение погрузиться в формат документа MS Word (Office Open XML) и написать свою библиотеку на .net Framework.
Global Wheat Challenge 2021 или как накормить весь мир при помощи Computer Vision
28.07.2021
Представляю вашему внимаю обзор на соревнование Global Wheat Challenge 2021, а также делюсь своим опытом участия в нем.
Поиск и лемматизация ФИО без Наташ
28.07.2021
Очень часто в задачах текст майнинга требуется реализовать вытаскивание имён, года рождения, паспортных данных и т.п. из объемного текста. Для получения ФИО из текста существует библиотека “Natasha”. Но когда имена в тексте попадаются “нестандартные” и очень редкие, библиотека, к сожалению, пасует.
Методы укладки Gephi. Force Atlas и Force Atlas 2
27.07.2021
Для эффективной работы с графами нужно знать различные типы укладки графов, а также их настройки. В этой статье мы рассмотрим одни из самых популярных методов – Force Atlas и Force Atlas 2.
KEEP CALM and JSON
27.07.2021
В этой статье расскажем, что нам удалось обработать данные, содержащие формат JSON
Сравнение линейных моделей регрессии в Machine Learning
26.07.2021
В этой статье я бы хотела рассмотреть несколько линейных моделей регрессии, охватывая некоторые базовые подходы, которые лежат в основе математики.
Данная статья направлена на разработку оптимальной линейной модели, которая применима конкретно к рассматриваемому проекту.
Вне зависимости от уровня Ваших знаний, статья подкреплена примерами для формирования подходов к предмету, поэтому, сложности в понимании реализации кода на Python у пользователя возникнуть не должно.
Скользящие средние и Python
26.07.2021
Рассмотрим применение скользящих средних на практике. Наиболее часто данный метод применяется в торговле на фондовом рынке, где с его помощью создается торговая стратегия. Язык Python идеально подходит для формирования простой и понятной стратегии.
Роль обратного распределения в построении нейросети
23.07.2021
Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если прогнозируемый результат сильно отличается от фактического, то необходимо минимизировать ошибку. О том, как это сделать расскажем в этой статье
Полиномиальная регрессия и метрики качества модели
23.07.2021
Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.
Визуализация Pandas фреймов
22.07.2021
Один из первых этапов в машинном обучении — исследование данных. Необходимо проверить зависимость переменных друг от друга, посмотреть на сбалансированность данных. Визуализация – важный инструмент в этой задаче.
Использование apimoex для получения актуальной информации с биржи
22.07.2021
Когда необходимо провести независимую оценку корректности работы автоматизированных систем компании с использованием данных первоисточника и выявить проблемы с их некорректным реплицированием, на помощь придет библиотека apimoex Python. Рассмотрим пример использования данной библиотеки для получения актуальной информации с биржи
Сравнение библиотек TENSORFLOW, KERAS и PYTORCH для MACHINE LEARNING
21.07.2021
В данной статье рассмотрим различные библиотеки, которые применяются для обучения моделей, и их сравнительную оценку
Аннотирование текстов при помощи BERT
21.07.2021
BERT тюнится под множество задач и доменов. В спектр задач, которые можно решить при помощи трансформера, входит задача аннотирования – краткого пересказа текстов. В статье подробно расскажем о том, как нужно модифицировать инструмент, чтобы обучить модель экстрактивной суммаризации
Автоматическая коррекция угла поворота изображения в задаче распознавания текста
20.07.2021
При решении задачи по распознаванию текстов и изображений, нетрудно заметить, что результат распознавания напрямую зависит от качества самого изображения, в том числе, угол наклона текста в изображении. В данной статье расскажем об автоматизации процесса поворота изображений
Анализ изображения с помощью фреймворка Easyocr
20.07.2021
Easyosr — фреймворк для анализа текста с изображений с открытым кодом. За основу deep learning части данной библиотеки взята библиотека pytorch. Распознавательная часть данной библиотеки использует алгоритм craft, суть которого — обнаружение текстовой области и исследование каждой области символа, а также нахождения сходства между символами
Модели – SQL VS Java
19.07.2021
Как строятся модели мы уже рассказывали, но при этом обошли самый популярный инструмент после excel — это SQL. Да, на нем тоже можно писать модели. И это даже очень удобно, так как в одном флаконе и доступ к данным, которые позволят обратиться и выбрать именно то, что надо. Но насколько подходит SQL для построения модели? Об этом в нашей статье.
Graph mining для решения транспортной задачи
19.07.2021
Современному аудитору необходимо исследовать все больше процессов, в этом ему может помочь знание современных практик и технологий. Сегодня расскажем о том, как используя алгоритм Прима для Graph mining и решив задачу поиска минимального остовного дерева (MST — minimum spanning tree), можно выявить неоптимальные расходы на использование транспорта.
Pyvis новый инструмент в работе с сетевыми графами.
16.07.2021
При работе с данными эксперту важно понимать общую картину, как связаны данные, по каким цепочкам идут процессы? В этой статье я расскажу, как это сделать с помощью библиотеки Pyvis.
Построение графов с помощью библиотеки PyViz на основе текстового анализа ESG стратегий отдельных компаний.
16.07.2021
В настоящее время многие страны мира сконцентрировались на таком важном направлении как экологическое, социальное и корпоративное управление организациями (ESG). Под этим сложным понятием чаще всего подразумевают то, каким образом деятельность компаний влияет на решение экологических проблем окружающей среды, поведенческие настроения в обществе, а также насколько эффективно ведется управление. Проведем анализ нескольких российских компаний и выясним, как применяются принципы ESG. Для этого нам потребуются: данные новостных источников по выбранной тематике, инструменты для построения графов и текстового анализа.
Аналитика в Python
15.07.2021
Довольно часто требуется информация о состоянии кредитного портфеля для анализа, поиска динамики и закономерностей, а также сравнения по различным категориям продуктов. Для этого довольно удобно использовать сводные таблицы в excel. Но, что делать, если количество строк во много раз превышает возможности excel? — Воспользоваться простотой и удобством Python.
Улучшаем Python код с помощью map, filter, reduce
15.07.2021
Одними из главных критериев качества кода являются читаемость кода и производительность. Но как добиться большей производительности и читаемости? В этом нам помогут функции map, filter и reduce.
Нейросети в исследовании процессов
14.07.2021
Предлагаем обсудить применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.
Создание классификатора областей изображения на основе сверточной нейронной сети
14.07.2021
CNN или сверточная нейронная сеть (convolutional neural network) — одна из широко используемых архитектур искусственных нейронных сетей, основной задачей которой является эффективное распознавание образов. Главная идея архитектуры CNN заключается в чередовании сверточных слоев и слоев подвыборки. Данные нейронные сети зачастую проектируются многослойными (входят в состав технологий глубокого обучения) и однонаправленными (не имеют обратных связей). В […]
Резюмированние текста NLP
13.07.2021
Резюмирование текста — это метод NLP (обработка естественного языка), который извлекает текст из большого количества данных. Это помогает в создании более короткой версии имеющегося большого текста, а также: Сокращает время чтения; Помогает улучшить исследовательскую работу; Увеличивает объем информации, который может уместиться в области. Существуют методы резюмирования статей: основанный на NLP и глубокого обучения. Здесь мы рассмотрим […]
Оценка сложности и удобочитаемости текста
13.07.2021
Зачастую аудиторские документы и акты написаны достаточно сложным языком, применяются слишком длинные слова или же слишком длинные предложения, трудные для восприятия речевые обороты. Таким образом, чтобы результаты аудиторских проверок были понятны для каждого человека, необходимо упрощать текст. Но перед тем, как текст упростить, необходимо сначала измерить его сложность с помощью специальных индексов, о которых пойдет речь в данной статье.
Замена слов в текстовых последовательностях с помощью Python, используя модуль FlashText
12.07.2021
Как заменять слова в текстовых последовательностях с помощью Python, используя модуль FlashText, который предоставляет собой один из наиболее эффективных способов замены большого набора слов в текстовом документе.
Асинхронные http-запросы
12.07.2021
Как увеличить скорость загрузки скриншотов с серверов телевизионных систем видеонаблюдения (ТСВ)? В данной статье мы расскажем, какие инструменты позволяют ускорить загрузку скриншотов.
Многопоточность и аудит
09.07.2021
Интересная тема для обсуждения, не так ли? Для начала обратимся к предыдущей статье цикла, описывающей применение методов NLP в аудите, где я использовал линейную обработку русскоязычного текста. Посмотреть статью можно здесь в открытом доступе: https://newtechaudit.ru/nlp-i-audit/
Шифрование и дешифрование данных алгоритмом ECIES
09.07.2021
Во время развития киберпреступности, необходима достойная безопасность данных. Эти данные можно шифровать. Существует различные алгоритмы шифрования, но все они либо уже взломаны, либо будут в скором времени. Лучше всего использовать алгоритм шифрования ECIES, так как он постквантовый, и взломать его не является возможным еще примерно 100 лет. Как реализовать шифрование и дешифрование данных на языке Python? Именно этому вопрос и посвящен материал данной статьи.
Вебинар: Анализатор трафика мобильных приложений в аудите кибербезопасности
20.11.2020
Приглашаем на онлайн вебинар
Вебинар: Natural Language Processing.
08.10.2020
Вебинар: Технологии Computer Vision. Использование нейросетей для детекции объектов.
23.09.2020
Ссылка на github: https://github.com/Romandancer1/object-detection-example