Анонс: Всем привет! Делюсь лайфхаками по обработке таблиц с помощью нюансов использования памяти Python.

Основная проблема при работе с BigData – это не написание скрипта для получения результата, а максимальное сокращение времени его работы и объема затрачиваемых ресурсов. Для решения этих задач отлично подходит Apache Spark с его удивительно гибкими возможностями по оптимизации кода. Сегодня я опишу несколько способов оптимизации запросов.

В ходе работы возникла задач обработки огромного объема (~500 Гб) аудиозаписей в условиях ограниченного времени. На одном ПК обработка заняла бы не менее месяца, что не вписывалось в установленные заказчиком сроки. Возникла идея подключения компьютеров коллег, у которых ночью ПК «отдыхают». Весь процесс можно разбить на несколько шагов: Установка Python на рабочий компьютер. Скачивание на […]

В 2020 году для банков по-прежнему актуальны внутренние угрозы, в их числе – внутреннее мошенничество (фрод). Ущерб может быть колоссальным, поскольку злоумышленник (сотрудник организации) имеет необходимые «пароли и явки», при этом вычислить его не просто. Рассмотрим наиболее распространенные схемы хищения через онлайн сервисы.

Как выявить нарушителей расскажем в статье

Как провести аудит процесса комплексной сервисной поддержки?

В предыдущей статье мы рассмотрели несколько вариантов получения данных о местонахождении транспортного средства. На примере проверки факта грузоперевозки и определения времени простоя автотранспорта в точке доставки, поможем более подробно разобраться с формулой гаверсинусов