Анализ данных Pandas
Картинка анонса

Выгрузка таблиц по подстроке из названий колонок с помощью Spark

Как выгрузить информацию из списка таблиц по полю, зная только часть его названия? Ответ в статье.

Анализ данных Pandas
Картинка анонса

Выгрузка таблиц по подстроке из названий колонок с помощью Spark

Как выгрузить информацию из списка таблиц по полю, зная только часть его названия? Ответ в статье.

Python Pandas
Картинка анонса

Визуализация в Python. Seaborn.

Одной из важных тенденций современности выступает визуализация. Она позволяет представить информацию в более простом для понимания виде.
Существует множество инструментов для преобразования данных в графику. Один из них — библиотека Seaborn в Python, в основу которой была взята библиотека mathplotlib. Она имеет тесное взаимодействие со структурами данных Pandas и по мощности сравнима с mathplotlib. Однако функционал Seaborn шире и имеет большую абстракцию для упрощения графиков.
Архитектура этой библиотеки дает возможность быстро проанализировать нужные вам данные. Упрощение во многом позволяет создавать диаграммы, которые в полной мере соответствуют поставленным задачам.
Неоспоримое преимущество Seaborn заключается в непосредственной работе с объектами dataframe из pandas, что значительно упрощает работу.

Python Parsing / Сбор информации
Картинка анонса

Спектральный анализ временных рядов с помощью Python

С развитием информационных технологий, имея ПК и установленный на нем стандартный пакет Python, можно анализировать данные и строить на их основе прогнозы. Во многих случаях достаточно скачать библиотеку для анализа данных, и получить неплохие результаты. При этом процессы, происходящие внутри используемых пользователем библиотек, остаются за пределами внимания и, в итоге, полученные данные могут быть неправильно интерпретированы, особенно если это нейросеть.
В статье представлен пример реализации спектрального анализа функции на примере реальных данных. Этот математический метод позволяет провести более глубокий анализ изменения функции переменной во времени, найти периодические составляющие. Его применение способно существенно повлиять на результат предсказания целевой переменной, поскольку позволяет учитывать сезонные и другие периодические колебания.

Программирование Python
Картинка анонса

Ого! Teradata!

При работе с данными из нескольких источников возникает потребность загружать свои данные в таблицы на пром-сервер, но к сожалению, не всегда для этого есть табличное пространство. В таких случаях приходится использовать временные таблицы, которые живут во время сессии, и удаляются по ее завершении.

SQL
Картинка анонса

Функция OPENJSON в SQL Server

С выходом SQL Server 2016 был реализован нативный функционал JSON. Это формат представления данных, который интерпретируется и передаётся независимо от платформы, являясь облегчённым форматом обмена данных между системами. JSON является основным конкурентом XML и с каждым годом для Web-API доля разрабатываемых систем, использующих JSON растёт.

NLP Machine Learning
Картинка анонса

Применяем UDPipe на R в решении задач NLP

На текущий момент времени наиболее часто используемым языком программирования при решении DS-задач, в частности задач NLP, является Python, обладающий огромным набором качественных библиотек. Однако, инструментарием для данного класса задач обладают и другие языки, например, Java, Scala, R. Последнему языку (R) в статье уделим основное внимание. Будучи ориентированным в основном на статистическую обработку и анализ данных, а также визуализацию, R видится в данном классе задач наиболее явным конкурентом для Python

Python Machine Learning
Картинка анонса

Распознавание и анализ речи с помощью библиотеки Speech Recognition, pyAudio и librosa

Звуковой сигнал небольшой длительности, от пяти до 10 миллисекунд, возможно исследовать, как при стационарном процессе, выделив кепстральные коэффициенты. Эти коэффициенты, по сути, являются графиком зависимости мощности от частоты сигнала отображающегося на векторе действительных чисел. В основе систем распознавания речи стоит скрытая марковская модель, а результатом данной модели является последовательность этих векторов. О том, как распознавать и анализировать речь с помощью библиотеки Speech Recognition, pyAudio и librosa расскажем в статье.

Загрузить ещё