В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

Как быстро сформировать фреймы видео? Какой наиболее оптимальный и наименее ресурсоемкий инструмент Computer Vision при нарезке видео на кадры? Делюсь результатами проведенного сравнительного анализа работоспособности OpenCV и MoviePy.

В рамках дипломного проекта, мне необходимо создать программу, которая сможет классифицировать различные дорожные знаки. За основу я возьму 3 распространённых дорожных знака, чтобы на их примере оценить работоспособность и в дальнейшем принимать решения по улучшению нейронки.

Обеспечение постоянной доступности к данным является жестким ограничением для применения машинного обучения в большинстве приложений из реального мира, где данные генерируются непрерывно.
Непрерывное обучение отлично показывает себя в задачах прогнозирования временных рядов, фильтрации спама, рекомендательных системах, прогнозировании CTR и интернете вещей. Подробнее расскажем в этой статье

В этой статье я хочу поделиться с вами альтернативой Pandas, которая работает в 2 раза быстрее. Polars – одна из малоизвестных библиотек, выпущенная летом 2021 года. Стоит отметить, что Polars такой быстрый за счет реализации библиотеки на языке Rust и использования Apache Arrow в качестве основы. Давайте проведем сравнение быстродействия этих двух библиотек

Друзья, известно, что линейная регрессия — это алгоритм Machine Learning, базирующийся на обучении с учителем. Регрессия моделирует целевое значение прогноза на основе независимых переменных. Алгоритм применяется для определения взаимосвязи между переменными и прогнозирования.
В этой статье я покажу, как можно использовать библиотеки Python для того, чтобы создать линейную регрессию на имеющемся заданном наборе данных. В частности, будет использована бинарная линейная модель, чтобы было проще визуализировать ее.

В статье рассмотрены основные формы представления аудио для дальнейшего использования в различных сферах обработки данных.

Модель хорошо адаптировалась к наблюдениям из обучающего датасета, но показала плохое качество предсказания на тестовом? Расскажу о способе, который поможет заранее предусмотреть, чтобы такая проблема при обучении модели не случилась

Текстовые данные не воспринимается моделью машинного обучения? Выполним конвертацию строкового представления в числовое и применим алгоритмы машинного обучения.

Постоянное обучение модели будь то Machine Learning, или задачи в области Computer Vision занимает безумно много времени и ожидание очень утомительно? Поделюсь способом, чтобы сократить время обучения и повысить эффективность ее работы

При проведении проверок, часто сталкиваешься с необходимостью получения данных о наличии исполнительных производств в отношении физических лиц. Поделюсь опытом написания скрипта по автоматизации работы с данными сайта ФССП.

В этой статье хочу познакомить читателя с таким ресурсом, как «Единый федеральный реестр сведений о фактах деятельности юридических лиц» (fedresurs.ru), рассказать о его применимости и показать возможность прошерстить ресурс не руками по большому количеству клиентов, а с использованием C# (в вашем случае можете использовать любой другой язык, который вам нравится, подходы, думаю, не изменятся) и […]

В предыдущей статье я описал методы трансформации данных и построения модели в QlikView (далее – QV). Следующим этапом разработки является создание непосредственно дэшборда (далее –DB), который будет доступен для пользователей. Проект DB  представляет из себя лист или набор листов, на которых расположены объекты визуализации данных: Добавить лист  можно при помощи пункта меню «Layout-Add Sheet…». Удалить […]

Переводим жесты в текст с помощью Long Short-Term Memory.

Наверняка у каждого хотя бы раз было такое желание, чтоб написать комментарий и получить массу лайков за него. Но тут возникает вопрос: а что нужно написать, чтобы получить максимальное количество лайков? И для этого можно использовать машинное обучение!

В 1913 году Генри Форд запустил первый сборочный конвейер по сборке генераторов. Как итог: сокращение сборки генератора с 20 до 5 минут. Принцип готовый промежуточный результат передается дальше по конвейеру был применен в специальных функциях Oracle.

Как быстро сформировать фреймы видео? Какой наиболее оптимальный и наименее ресурсоемкий инструмент Computer Vision при нарезке видео на кадры? Делюсь результатами проведенного сравнительного анализа работоспособности OpenCV и MoviePy.

В рамках дипломного проекта, мне необходимо создать программу, которая сможет классифицировать различные дорожные знаки. За основу я возьму 3 распространённых дорожных знака, чтобы на их примере оценить работоспособность и в дальнейшем принимать решения по улучшению нейронки.

Обеспечение постоянной доступности к данным является жестким ограничением для применения машинного обучения в большинстве приложений из реального мира, где данные генерируются непрерывно.
Непрерывное обучение отлично показывает себя в задачах прогнозирования временных рядов, фильтрации спама, рекомендательных системах, прогнозировании CTR и интернете вещей. Подробнее расскажем в этой статье

В этой статье я хочу поделиться с вами альтернативой Pandas, которая работает в 2 раза быстрее. Polars – одна из малоизвестных библиотек, выпущенная летом 2021 года. Стоит отметить, что Polars такой быстрый за счет реализации библиотеки на языке Rust и использования Apache Arrow в качестве основы. Давайте проведем сравнение быстродействия этих двух библиотек

Друзья, известно, что линейная регрессия — это алгоритм Machine Learning, базирующийся на обучении с учителем. Регрессия моделирует целевое значение прогноза на основе независимых переменных. Алгоритм применяется для определения взаимосвязи между переменными и прогнозирования.
В этой статье я покажу, как можно использовать библиотеки Python для того, чтобы создать линейную регрессию на имеющемся заданном наборе данных. В частности, будет использована бинарная линейная модель, чтобы было проще визуализировать ее.

Одной из задач обработки естественного языка является разделение коллекции текстов на темы, а также, выделение ключевых слов. Это делается для того, чтобы категорировать документы, например, для удобного поиска или получения общего представления о всей коллекции.
В данной статье рассказывается о библиотеке BigARTM (Python) для разделения текстов по тематикам.

Приходится ли Вам обрабатывать табличные данные на персональных компьютерах? Зачастую обработка таких данных выполняется с помощью Python и библиотеки Pandas.
Несмотря на удобство и широкий функционал библиотеки Pandas, обработка с её помощью больших наборов данных становится затруднительной. Преодолеть ограничения, связанные с большим объемом данных, позволяет библиотека Dask.

Любая крупная компания представляет собой множество обособленных или взаимосвязанных процессов, которые решают задачи различной направленности. Как правило, любой процесс является сложным механизмом взаимодействия людей, сервисов или других компаний, от которых зависит конечный результат исполняемого процесса. Перерывы в поставках ресурсов, изъяны в сервисах и алгоритмах, длительные исполнение простых операций или их повторное выполнение и многие другие […]

Доброе утро, друзья!
В данной статье проведём сравнительный анализ инструментов для построения графа и средств визуализации

В мире BIG DATA зачастую требуется давать оценку не только самим данным, но также и их взаимосвязям. В решении этой задачи помогает гибкий и бесплатный инструмент Networkx, входящий в состав модулей Python. Здесь мы покажем для начинающих аналитиков один из вариантов анализа связей между финансовыми объектами, в нашем примере – поиск взаимосвязей между ID клиентов организации посредством анализа переводов.

Доброе утро! Что делать, если мы хотим работать в SQL Server с несколькими уровнями данных, но не хотим терять производительность? Разберем пример использования графовых таблиц.

Порой Data Scientist’ам приходится иметь дело с графами. Чаще всего, это дело не такое уж и сложное, но бывают разногласия, которые начинаются при представлении результатов заказчику данного графа, ведь у каждого своё представлении о прекрасном. Особенно, когда дело касается расположения узлов. Сегодня мы снова сколлаборируем библиотеки NetworkX и Plotly (как уже было ранее ), а также научимся отрисовывать 3D графы для более комфортного взаимодействия с заказчиком, который сможет сам покрутить полученные результаты. Пожалуй, начнем.

Gephi – инструмент для интерактивной визуализации данных, стремительно набирающий свою популярность. На сайте NTA уже можно найти несколько статей с информацией о самой программе, её возможностях, алгоритмах укладки графов. В нашей работе мы бы хотели осветить фильтрацию данных в Gephi.

Продолжаем рассматривать различные методы укладки инструмента Gephi.