Превью для статьи

Parquet что это такое и зачем пригодился?

Как сделать большую выборку данных и сохранить результат для последующей обработки?

Превью для статьи

Autopep8 – спасательный круг для «зеленых» питонистов

Весь код необходимо писать в одном стиле, чтобы любой разработчик мог с ним работать без каких либо затруднений.

Превью для статьи

Сравнение различных способов редактирования Spark DataFrame

В данном посте разберём различные способы создания столбцов путем преобразования, вычислений, применения регулярных выражений и т.д. Также мы сравним длительность каждого способа и какой лучше где применить.

Превью для статьи

Scapy в приёме «битых» сетевых пакетов

В информационных системах, когда требуется высокая скорость передачи данных, довольно часто на транспортном уровне используется протокол UDP. В некоторых ситуациях при передаче UDP пакетов по сети требуется отключение вычисления контрольной суммы (сокращенно CRC – cycle reduce code) на стороне отправителя с целью ускорения времени формирования и отправки пакета (данный протокол предусматривает такую возможность путем обнуления CRC). И вот тут кроется проблема на приёмной стороне: сетевая карта приёмника может либо на аппаратном уровне вычислять CRC и отбрасывать пакеты с несовпадающими контрольными суммами, либо это делает драйвер сетевой карты. Как следствие, нужные пакеты не доходят до сокета приложения, что делает приложение неработоспособным.

Превью для статьи

“Да кто это написал?!!”, или решение сложных задач простыми средствами

Каждый день тысячи программистов трудятся не покладая рук. Они пишут код, контактируют между собой и, как и любой человек, совершают ошибки. Проблемы в коде могут повысить уровень рисков и стать критическими для компании. И с целью выявления таких ошибок специалисты проводят анализ кода.

Превью для статьи

Подборка алгоритмов для изучения языка Python. Часть 1: сортировки.

Изучение алгоритмов и понимание заложенных в них принципов работы является неотъемлемой частью обучения. Многие алгоритмы уже реализованы в библиотеках, но для оптимизации скорости выполнения или добавление признаков важно знать, что находится «под капотом» и как реализовать что-то с нуля. Рассмотрим алгоритмы с такой структурой данных как списки: квадратичные сортировки и сортировки, работающие по принципу, разделяй […]

Превью для статьи

Python venv

У вас тоже случалось, что, открывая чужой python-скрипт, вы не можете его запустить? Причина может быть в отсутствии необходимых библиотек или их версионности. Данную проблему поможет решить виртуальное окружение

Data News