В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

Как быстро сформировать фреймы видео? Какой наиболее оптимальный и наименее ресурсоемкий инструмент Computer Vision при нарезке видео на кадры? Делюсь результатами проведенного сравнительного анализа работоспособности OpenCV и MoviePy.

В рамках дипломного проекта, мне необходимо создать программу, которая сможет классифицировать различные дорожные знаки. За основу я возьму 3 распространённых дорожных знака, чтобы на их примере оценить работоспособность и в дальнейшем принимать решения по улучшению нейронки.

Обеспечение постоянной доступности к данным является жестким ограничением для применения машинного обучения в большинстве приложений из реального мира, где данные генерируются непрерывно.
Непрерывное обучение отлично показывает себя в задачах прогнозирования временных рядов, фильтрации спама, рекомендательных системах, прогнозировании CTR и интернете вещей. Подробнее расскажем в этой статье

В этой статье я хочу поделиться с вами альтернативой Pandas, которая работает в 2 раза быстрее. Polars – одна из малоизвестных библиотек, выпущенная летом 2021 года. Стоит отметить, что Polars такой быстрый за счет реализации библиотеки на языке Rust и использования Apache Arrow в качестве основы. Давайте проведем сравнение быстродействия этих двух библиотек

Друзья, известно, что линейная регрессия — это алгоритм Machine Learning, базирующийся на обучении с учителем. Регрессия моделирует целевое значение прогноза на основе независимых переменных. Алгоритм применяется для определения взаимосвязи между переменными и прогнозирования.
В этой статье я покажу, как можно использовать библиотеки Python для того, чтобы создать линейную регрессию на имеющемся заданном наборе данных. В частности, будет использована бинарная линейная модель, чтобы было проще визуализировать ее.

В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

Как быстро сформировать фреймы видео? Какой наиболее оптимальный и наименее ресурсоемкий инструмент Computer Vision при нарезке видео на кадры? Делюсь результатами проведенного сравнительного анализа работоспособности OpenCV и MoviePy.

В рамках дипломного проекта, мне необходимо создать программу, которая сможет классифицировать различные дорожные знаки. За основу я возьму 3 распространённых дорожных знака, чтобы на их примере оценить работоспособность и в дальнейшем принимать решения по улучшению нейронки.

Обеспечение постоянной доступности к данным является жестким ограничением для применения машинного обучения в большинстве приложений из реального мира, где данные генерируются непрерывно.
Непрерывное обучение отлично показывает себя в задачах прогнозирования временных рядов, фильтрации спама, рекомендательных системах, прогнозировании CTR и интернете вещей. Подробнее расскажем в этой статье

В этой статье я хочу поделиться с вами альтернативой Pandas, которая работает в 2 раза быстрее. Polars – одна из малоизвестных библиотек, выпущенная летом 2021 года. Стоит отметить, что Polars такой быстрый за счет реализации библиотеки на языке Rust и использования Apache Arrow в качестве основы. Давайте проведем сравнение быстродействия этих двух библиотек

Друзья, известно, что линейная регрессия — это алгоритм Machine Learning, базирующийся на обучении с учителем. Регрессия моделирует целевое значение прогноза на основе независимых переменных. Алгоритм применяется для определения взаимосвязи между переменными и прогнозирования.
В этой статье я покажу, как можно использовать библиотеки Python для того, чтобы создать линейную регрессию на имеющемся заданном наборе данных. В частности, будет использована бинарная линейная модель, чтобы было проще визуализировать ее.

Одной из задач обработки естественного языка является разделение коллекции текстов на темы, а также, выделение ключевых слов. Это делается для того, чтобы категорировать документы, например, для удобного поиска или получения общего представления о всей коллекции.
В данной статье рассказывается о библиотеке BigARTM (Python) для разделения текстов по тематикам.

Приходится ли Вам обрабатывать табличные данные на персональных компьютерах? Зачастую обработка таких данных выполняется с помощью Python и библиотеки Pandas.
Несмотря на удобство и широкий функционал библиотеки Pandas, обработка с её помощью больших наборов данных становится затруднительной. Преодолеть ограничения, связанные с большим объемом данных, позволяет библиотека Dask.

В нашей деятельности довольно часто приходится работать с большими объемами документов, к примеру, исполнительными листами, заявлениями, договорами, из текстов которых нам зачастую необходимо извлечь весьма конкретную информацию: ФИО, даты рождения, наименования должности, паспортные данные, адрес, ИНН и наименование компаний, даты подписания документов и так далее. Всё это относится к задаче распознавания именованных сущностей (NER). Так какие инструменты могут помочь нам в решении данной задачи для русского языка?

С помощью несложного текст майнинга можно узнать, за что дают подарки.

Передо мной стояла задача провести поиск по распознанным OCR документам с целью нахождения в них ключевых слов из списка. Поскольку в тексте могли встречаться ошибки распознавания, решено было использовать нечёткий поиск на базе rapidfuzz – самой быстрой библиотеки для нечёткого поиска на Python

Доброе утро, друзья!
В данной статье мы разберемся как можно обрабатывать текст и строить модель мультиклассовой классификации текста

В мире коммерции существует множество применений классификации текста. Например, новости часто сгруппированы по темам, контент или товары часто помечаются по категориям, а пользователей можно разделить на группы, в зависимости от того, как они отзываются о товаре в Интернете. Однако большинство статей в сети описывают бинарную классификацию, но чаще реальные задачи оказываются сложнее. В этой статье мы будем проводить мультиклассовую классификацию обращений в службу банка.

Дана классическая задача по тональности текста – поиск в тексте негатива. Для размеченных данных задача сводится к простой бинарной классификации, но данные не всегда могут быть размечены изначально.

Одна из самых популярных на сегодняшний день python-библиотек для работы с текстами на естественном языке – NLTK (Natural Language Toolkit) – содержит большой список готовых токенизаторов.
Возникает вопрос, какой же токенизатор выбрать для решения конкретной задачи. Для ответа на него необходимо понимать, как работает тот или иной токенизатор, на какие блоки он может разбить исходный текст. В этой статье я постараюсь описать работу токенизаторов, входящих в состав NLTK, чтобы вопрос выбора стал несколько проще. Все примеры будут приведены с использованием русского языка.