Превью для статьи

«Пробенчмаркать уже это всё наконец» – тестирование инструментов для обработки данных на Python. Часть 1.

Это будет история о том, как мы придумали и приступили к реализации бенчмарка объективным, упорядоченным и унифицированным способом – через написание универсального инструмента.
В первой части публикации представим теоретическую часть задачи, предпосылки, а также первую попытку реализации универсального инструмента.

Превью для статьи

Создание и исследование лога процесса выполнения программы с помощью process mining

Анализ исходного кода — давно зарекомендовавшая себя практика для выявления отклонений до выхода приложения на рынок. Проверка на уязвимости, program understanding, поиск логических ошибок в использовании библиотек, code review и многие другие методы статического, динамического и ручного анализа кода широко применяются во многих компаниях, занимающихся разработкой программ.
Делюсь практикой исследования кода приложения, которую использовал я, для решения задачи

Превью для статьи

Ищем выбросы. Критерий Шовене

Поиск выбросов, аномалий. Эта тема актуальна если исследователь — аналитик хочет получить адекватные результаты и избежать эффекта GIGO ( garbage in, garbage out — «мусор на входе — мусор на выходе»). Рассмотрим один из способов выявления аномальных выбросов – критерий Шовене.

Превью для статьи

Сегментация в GreenPlum

GreenPlum является массово-параллельной (Massively Parallel Processing) СУБД, что предполагает особый подход по сравнению с традиционными (Single-Node) СУБД.Понимание особенностей реализации MPP в GreenPlum важно при создании таблиц и в особенности, при выборе способа сегментации. Например, неэффективное сегментирование может многократно снизить скорость обращения к строкам таблиц, занять больше дискового пространства чем требуется.

Превью для статьи

Функции стандартного отклонения в разных библиотеках

В этой статье поговорим о том, что такое среднеквадратичное (стандартное) отклонение, с помощью какой формулы можно его рассчитать, и какие подводные камни ожидают нас при использовании различных библиотек для его вычисления

Превью для статьи

Аномальные энергозатраты

В данной статье исследуются данные затрат на электроэнергию, анализируемые с помощью математической статистики и создается инструмент нахождения аномальных значений.

Превью для статьи

Невидимый во времени маршрут

Как отследит автомобиль, находящийся вне зоны сети? Как рассчитать такие зоны пропадания сигнала? Как защитить автомобиль от подобных ситуация на дороге?